(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210156851.X (22)申请日 2022.02.21 (71)申请人 上海应用技 术大学 地址 201418 上海市奉贤区海泉路10 0号 (72)发明人 赵怀林　陆升阳　梁兰军　侯煊　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 丁云 (51)Int.Cl. G06V 20/00(2022.01) G06V 10/26(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于场景先验的智能体目标搜索的方 法 (57)摘要 本发明涉及一种基于场景先验的智能体目 标搜索的方法， 用于机器人的目标搜索， 包括以 下步骤： 确认目标编码信息和待搜索 目标； 通过 机器人获取待搜索场景的环境图像， 根据环境图 像构建深度图像矩阵、 语义图像矩阵； 对提取对 象关系特征向量； 构建空间语义融合矩阵； 根据 空间语义地图融合矩阵获取语义地图特征向量； 根据对象关系特征向量、 语义地图特征向量及目 标编码信息生成融合特征向量； 根据融合特征向 量对价值网络和目标网络进行训练， 完成训练后 基于训练好的价值网络进行目标搜索。 与现有技 术相比， 本发明具有导航精度高、 搜索准确性效 率高等优点。 权利要求书3页 说明书8页 附图4页 CN 115311538 A 2022.11.08 CN 115311538 A 1.一种基于场景先验的智能体目标搜索的方法， 其特征在于， 用于机器人的目标搜索， 包括以下步骤： S1： 确认目标编码信息和待搜索目标； S2： 通过机器人获取待搜索场景的环境图像， 根据环境图像构建深度图像矩阵、 语义图 像矩阵； S3： 对环境图像进行对象关系特征分析， 识别环境中的物体并确认与待搜索目标关系 可能性最大的物体， 提取对象关系特 征向量； S4： 根据深度图像矩阵、 语义图像矩阵获取空间语义点云， 并根据空间语义点云和环境 中的物体信息构建空间语义融合矩阵； S5： 根据空间语义融合矩阵获取语义 地图特征向量； S6： 根据对象关系特 征向量、 语义 地图特征向量及目标编码信息生成融合特 征向量； S7： 构建目标搜索的价值网络和目标网络， 根据融合特征向量对价值网络和目标网络 进行训练， 完成训练后基于训练好的价 值网络进行目标搜索。 2.根据权利要求1所述的一种基于场景先验的智能体目标搜索的方法， 其特征在于， 所 述的步骤S2具体包括： S21： 通过机器人获取待搜索场景的环境 图像， 所述的环境 图像包括环境的RGB图像和 深度图像； S22： 将深度图像记作深度图像矩阵； S23： 利用预训练好的语义分割网络对环境图像进行计算， 生成语义图像矩阵。 3.根据权利要求1所述的一种基于场景先验的智能体目标搜索的方法， 其特征在于， 所 述的步骤S3具体包括： S31： 获取场景 图谱G＝{V,E}， V为图谱节点， 表示场景中不 同的物体种类， E为图谱边， 表示两个类别物体间的位置关系， 使用视觉基因组数据集作为来源， 根据待搜索场景中出 现的所有对 象的类别构建知识图， 将每一个类别都表示为图中的一个节点， 在视觉基因组 数据集中对象关系出现频率大于3的两个节点间使用边来链接生成图结构并用二进制 邻接 矩阵A表示； S32： 构建图卷积神经网络， 输入为环境图像的RGB图像， 输出为空间关系特征， 将空间 关系特征映射到 512维得到对象关系特 征向量。 4.根据权利要求1所述的一种基于场景先验的智能体目标搜索的方法， 其特征在于， 所 述的步骤S4的具体步骤 包括： S41： 生成一个(C+2)*(224*224)的全0矩阵， 该矩阵代表空间语义融合矩阵M， 所述的空 间语义融合矩阵含有C+2个图层， 其中2 24*224代表每一个图层的尺寸； S42： 考虑机器人的位置和姿态P(xt,yt,zt, θt)生成空间点云； S43： 所述的空间点云的尺寸为C*W*L*H， 其中C为空间语义点云的通道， 每一个通道都 代表了一个语义类别， W*L*H则分别为空间语义点云的宽、 长、 高， 在高的维度求和并将三维 点云映射到二维上， 得到尺寸 为C*W*L的二维映射特 征图， 作为空间语义融合矩阵的前C层； S44： 在空间语义融合矩阵的C+1层记录机器人行走的路径， 在C+2层中标记与待搜索目 标关系可能性 最大的物体； S45： 实时获取机器人的最新空间点云、 路径和与待搜索目标关系可能性最大的物体，权　利　要　求　书 1/3 页 2 CN 115311538 A 2对空间语义融合矩阵进行 更新。 5.根据权利要求4所述的一种基于场景先验的智能体目标搜索的方法， 其特征在于， 所 述的空间点云的获取 方式为： 其中， x、 y、 z分别为点云坐标， fx,fy为相机的内参， cx， cy为语义图像矩阵S中像素的位 置， D为深度图像矩阵， u,v分别为语义图像矩阵中的像素点坐标， R,T则分别为机器人的转 移矩阵和旋转矩阵， 根据机器人的位姿为P(xt,yt,zt, θt)得到机器人的转移矩阵和旋转矩 阵分别为： 6.根据权利要求1所述的一种基于场景先验的智能体目标搜索的方法， 其特征在于， 所 述的步骤S5具体包括： S51： 对空间语义融合矩阵进行归一 化处理； S52： 构建卷积神经网络， 利用卷积神经网络对空间语义融合矩阵作为输入进行处理， 输出语义 地图特征向量。 7.根据权利要求6所述的一种基于场景先验的智能体目标搜索的方法， 其特征在于， 所 述的卷积神经网络包括依 次连接的卷积层、 非线性激活层、 数据归一化层、 最大池化网络、 卷积层、 非线性激活层、 数据归一化层、 最大池化网络、 卷积层、 非线性激活层、 数据归一化 层、 最大池化网络、 卷积层、 数据归一化层， 最后通过矩阵变换将最后一层数据归一化层的 输出变成一维向量， 再利用线性变换， 将矩阵变换的结果 转换为语义 地图特征向量。 8.根据权利要求1所述的一种基于场景先验的智能体目标搜索的方法， 其特征在于， 所 述的步骤S6具体包括： 将对象关系特征向量、 语义地图特征向量及目标编码信息向量进行拼接， 生成融合特 征向量。 9.根据权利要求1所述的一种基于场景先验的智能体目标搜索的方法， 其特征在于， 所 述的步骤S7 具体包括： S71： 构建奖惩 函数： 其中， R(t,a)为奖惩回报， t表示机器人在某一个时刻， a表示机器人在该 时刻采取的动 作， 当机器人语义图像矩阵S中出现了目标类别， 并且计算出机器人与目标类别的距离小于权　利　要　求　书 2/3 页 3 CN 115311538 A 3