(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111271113.1 (22)申请日 2021.10.2 9 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦二层 (72)发明人 李莹莹　叶晓青　谭啸　孙昊　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 代理人 单冠飞 (51)Int.Cl. G06N 20/00(2019.01) G06T 7/55(2017.01) G06T 15/20(2011.01) (54)发明名称 模型训练方法及装置、 深度预测方法及装 置、 设备和介质 (57)摘要 本公开提供了一种模 型训练方法及装置、 深 度预测方法及装置、 设备和介质， 涉及人工智能 领域， 具体涉及计算机视觉和深度学习技术。 方 案为： 采用深度估计模型中的至少两预测分支对 源图像相邻的至少一目标图像进行深度预测， 及 对各目标图像相邻和/或间隔设定帧数的邻近图 像进行深度预测； 根据预测的深度值， 确定将各 目标图像重投影至源图像的第一重投影误差， 及 确定将各邻近图像重投影至对应目标图像的第 二重投影误差； 根据各重投影误差中的最小值对 至少两预测分支中的第一预测分支进行训练， 及 根据各重投影误差确定均值， 根据均值和最小值 之间的第一差异对至少两预测分支中的第二预 测分支进行训练。 由此， 可 以提升深度预测结果 的准确性和可靠性。 权利要求书3页 说明书15页 附图6页 CN 114037087 A 2022.02.11 CN 114037087 A 1.一种模型训练方法， 所述方法包括： 从图像采集设备采集的多帧图像中， 确定 至少一帧源图像； 采用深度估计模型中的至少两预测分支， 对所述源图像相邻的至少一目标图像进行深 度预测， 以及 采用所述至少两预测分支， 对各所述目标图像相 邻和/或间隔设定帧数的邻近 图像进行深度预测； 根据所述至少两预测分支对各所述目标图像中各像素点预测的深度值， 确定将各所述 目标图像重投影至所述源图像的第一重投影误差， 以及根据所述至少两预测分支对各所述 邻近图像中各像素点预测的深度值， 确定将各所述邻近图像重投影至对应目标图像的第二 重投影误差； 根据各所述第一重投影误差和各所述第二重投影误差中的最小值对所述至少两预测 分支中的第一预测分支进 行训练， 以及根据各所述第一重投影误差和各所述第二重投影误 差确定均值， 根据所述均值和所述最小值之间的第一差异对所述至少两预测分支中的第二 预测分支进行训练。 2.根据权利要求1所述的方法， 其中， 所述采用深度估计模型中的至少两预测分支， 对 所述源图像相邻的至少一目标图像进行深度预测， 包括： 针对每帧所述目标图像， 采用所述第一预测分支， 对所述目标图像中的各像素点进行 深度预测， 得到所述目标图像中各像素点的第一深度值及对应的第一深度置信度； 采用所述第二预测分支， 对所述目标图像中的各像素点进行深度预测， 得到所述目标 图像中各像素点的第二深度值及对应的第二深度置信度； 确定所述目标图像中各像素点对应的第一深度置信度和第二深度置信度中的最大值； 将所述最大值对应的深度值， 确定为所述至少两预测分支对所述目标图像中相应像素 点预测的深度值。 3.根据权利要求2所述的方法， 其中， 所述根据所述至少两预测分支对各所述目标图像 中各像素点预测的深度值， 确定将各所述目标图像重投影至所述源图像的第一重投影误 差， 包括： 针对每帧所述目标图像， 采用所述深度估计模型中的位姿预测分支进行位姿预测， 以 确定所述源图像与所述目标图像之间的相对位姿； 根据所述相对位姿、 所述至少两预测分支对所述目标图像中各像素点预测的深度值以 及所述图像采集设备的内参， 确定所述目标图像中各像素点重投影至所述源图像上时对应 的重投影图像； 根据所述重投影图像和所述目标图像之间的第 二差异， 确定所述目标图像重投影至所 述源图像的第一重投影误差 。 4.根据权利要求1 ‑3中任一项所述的方法， 其中， 所述根据 所述均值和所述最小值之间 的第一差异对所述至少两预测分支中的第二预测分支进行训练， 包括： 响应于所述第一差异小于设定阈值， 根据所述第一差异， 生成所述第二预测分支对应 的第一损失函数； 根据所述第一损 失函数， 对所述第二预测分支中的模型参数进行调整， 以使所述第一 损失函数最小化。 5.根据权利要求4所述的方法， 其中， 所述根据各所述第 一重投影误差和各所述第 二重权　利　要　求　书 1/3 页 2 CN 114037087 A 2投影误差中的最小值对所述至少两预测分支中的第一预测分支进行训练， 包括： 响应于所述第一差异小于设定阈值， 根据所述最小值， 生成所述第一预测分支对应的 第二损失函数； 根据所述第二损 失函数， 对所述第一预测分支中的模型参数进行调整， 以使所述第二 损失函数最小化。 6.一种深度预测方法， 所述方法包括： 获取待检测图像； 采用深度估计模型中的第一预测分支， 对所述待检测图像中各像素点进行深度预测， 得到所述待检测图像中各像素点的第一预测深度值及对应的第一预测深度置信度； 其中， 所述深度估计模型 是采用权利要求1至 5任一所述的方法训练得到的； 采用所述深度估计模型中的第 二预测分支， 对所述待检测图像中各像素点进行深度 预 测， 得到所述待检测图像中各像素点的第二预测深度值及对应的第二预测深度置信度； 确定所述待检测图像中各像素点对应的第一预测深度置信度和第二预测深度置信度 中的最大置信度， 并将所述最大置信度对应的预测深度值， 作为相 应像素点对应的目标深 度值。 7.一种模型训练装置， 所述装置包括： 第一确定模块， 用于从图像采集设备采集的多帧图像中， 确定 至少一帧源图像； 预测模块， 用于采用深度估计模型中的至少两预测分支， 对所述源图像相邻的至少一 目标图像进 行深度预测， 以及所述至少两预测分支， 对各所述目标图像相 邻和/或间隔设定 帧数的邻近图像进行深度预测； 第二确定模块， 用于根据所述至少两预测分支对各所述目标图像中各像素点预测的深 度值， 确定将各所述 目标图像重投影至所述源图像的第一重投影误差， 以及根据所述至少 两预测分支对各所述邻近图像中各像素点预测的深度值， 确定将各所述邻近图像重投影至 对应目标图像的第二重投影误差； 训练模块， 用于根据 各所述第 一重投影误差和各所述第 二重投影误差中的最小值对所 述至少两预测分支中的第一预测分支进行训练， 以及根据各所述第一重投影误差和各所述 第二重投影误差确定均值， 根据所述均值和所述最小值之 间的第一差异对 所述至少两预测 分支中的第二预测分支进行训练。 8.根据权利要求7 所述的装置， 其中， 所述预测模块， 具体用于： 针对每帧所述目标图像， 采用所述第一预测分支， 对所述目标图像中的各像素点进行 深度预测， 得到所述目标图像中各像素点的第一深度值及对应的第一深度置信度； 采用所述第二预测分支， 对所述目标图像中的各像素点进行深度预测， 得到所述目标 图像中各像素点的第二深度值及对应的第二深度置信度； 确定所述目标图像中各像素点对应的第一深度置信度和第二深度置信度中的最大值； 将所述最大值对应的深度值， 确定为所述至少两预测分支对所述目标图像中相应像素 点预测的深度值。 9.根据权利要求8所述的装置， 其中， 所述第二确定模块， 具体用于： 针对每帧所述目标图像， 采用所述深度估计模型中的位姿预测分支进行位姿预测， 以 确定所述源图像与所述目标图像之间的相对位姿；权　利　要　求　书 2/3 页 3 CN 114037087 A 3