(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210110972.0 (22)申请日 2022.01.29 (71)申请人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 张炳力　潘泽昊　姜俊昭　刘文涛　 张成标　程进　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 高宁馨 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/11(2017.01) G06T 7/33(2017.01) G06T 7/73(2017.01)G06T 7/80(2017.01) G06T 5/00(2006.01) G06K 9/62(2022.01) G06V 10/75(2022.01) G06V 10/762(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于双目相机和激光雷达融合的道路 目标检测方法 (57)摘要 本发明提供了一种基于双目相机和激光雷 达融合的道路目标检测方法， 利用左右两台相机 与一台激光雷达采集前方道路目标信息； 通过双 目立体匹配算法获取双目视差； 利用基于单目视 觉的神经网络， 获取图像目标类别与二维位置信 息； 结合双 目视差与单目视觉检测信息， 获取前 方目标视觉三维检测结果； 通过点云分割 与聚类 处理， 获取前方目标雷达三维检测结果； 对两种 三维包围框的匹配代价进行匈牙利算法优化求 解， 基于匹配结果进行分类， 并采用不同融合策 略， 最后输出补充修正后的道路目标信息。 本发 明的检测框架实现了传感器的优势互补， 使用目 标级匹配融合策略， 输出更加准确可靠的道路目 标信息。 权利要求书2页 说明书6页 附图1页 CN 114463303 A 2022.05.10 CN 114463303 A 1.一种基于双 目相机和激光雷达融合的道路目标检测方法， 其特征在于， 包含以下步 骤： 步骤1、 利用左右两台相机与一台激光雷达采集前 方道路目标信息； 步骤2、 通过双目立体匹配算法获取双目视 差信息； 步骤3、 利用基于YOLOv4的视觉目标检测神经网络， 获取左相机图像中目标的类别与 二 维位置信息， 作为左相机 视觉检测信息； 步骤4、 结合双目视 差信息与左相机 视觉检测信息， 获取 前方目标三维视 觉检测结果； 步骤5、 对激光雷达获取的原始点云， 进行点云分割与聚类， 获取前方目标雷达检测结 果； 步骤6、 对上述视觉检测结果与雷达检测结果进行时间与空间配准， 将两者获取的前方 目标检测结果进行匹配融合， 输出融合后的前 方目标信息 。 2.如权利要求1所述的方法， 其特 征在于， 所述 步骤1包括： 通过左右两台相互平行放置的相机， 构成双目相机系统， 分别采集前方道路目标的左 右图像信息； 通过一台激光雷达采集前 方道路区域 点云信息； 相机与雷达相对位置保持不变， 且利用相机与激光雷达采集道路信息之前， 首先对左 右两台相机进行双目标定， 对左相机和激光雷达进行 联合标定 。 3.如权利要求2所述的方法， 其特 征在于， 所述标定步骤具体为： 根据左右相机采集的图像， 利用张正友标定法及MABTLAB标定工具， 获取左右相机内参 ML1,MR1,畸变系数DL,DR； 选取4对以上激光雷达点云中的3D点及其相对应的图像像素点， 利用其3D空间点位置 PLidar_i及该点的2D图像投影 位置pimg_i， 采用PnP算法， 获取左相机与激光 雷达之间的外参MLR ＝[RLR|TLR]， 完成联合标定 。 4.如权利要求1所述的方法， 其特征在于， 所述步骤2包括： 利用双目相机标定的内外参 数， 对左右相机采集的图像进 行立体校正； 通过SGBM算法， 寻找左右图像同一目标物对应的 像素点， 基于左相机图像像素点生 成视差； 利用双目视差， 基于Bougu et算法， 获取图像像素 二维点[ui,vi]T到相机坐标系三维点[xi,yi,zi]T的重投影矩阵Qreprojecti on。 5.如权利要求1所述的方法， 其特 征在于， 所述 步骤3包括： 预先采集目标图像数据集， 对图像中道路目标类别与位置进行标注， 将标注好的数据 集作为训练集输入YOLOv4视 觉目标检测 神经网络， 训练出网络预测权 重； 将左相机获取图像输入到YOLOv4视觉目标检测神经网络中， 得到图像中第i个目标的 类别信息classi及其最小二维包围框2d_bboximg_i(ui,vi,wi,hi)， 其中ui是图像中第i个目标 二维最小包围框2d_bboximg_i的左上角点横坐标， vi是左上角点纵坐标， wi是最小包围框的 宽， hi是最小包围框的高。 6.如权利要求4所述的方法， 其特征在于， 所述步骤4包括： 对步骤3所述神经网络获取 的目标视觉二维信息2d_bboximg_i， 利用步骤2所述重投影矩阵Qreprojection， 重投影回相机坐 标系， 获得i个视觉检测目标在相机坐标系下的目标三维最小包围框bboxcam_i； 将bboxcam_i 几何中心Pi作为目标三维位置， 与bboxcam_i、 类别classi一起作为前方目标视觉检测结果输 出。 7.如权利要求1所述的方法， 其特征在于， 所述步骤5包括： 利用RANSAC算法， 将地面点权　利　要　求　书 1/2 页 2 CN 114463303 A 2云及噪声点云滤去， 分割出所有道路目标的点云； 再利用聚类算法， 将所有道路目标点云聚 类成多个点云簇， 每一个点云簇包含一个道路目标 的所有点云； 计算得到每一个目标点云 簇的最小三维包围框bb oxlidar_k； 将bboxlidar_k几何中心Qk作为目标三维位置， 与bb oxlidar_k 一同作为前 方目标雷达检测结果输出。 8.如权利要求1所述的方法， 其特 征在于， 所述 步骤6包括： 首先进行视觉与雷达检测结果的时间配准， 将时间戳相差小于预定时间的视觉 bboxcam_i与雷达bboxlidar_k视为同一时刻信息， 并进行后续融合； 利用相机与激光雷达联合标定所得外参MLR＝[RLR|TLR]， 将视觉检测结果转换到雷达坐 标系下， 实现视 觉与雷达检测结果的空间配准； 对时间与空间配准后的视 觉bboxcam_i与雷达bboxlidar_k进行3DIOU匹配代价计算。 9.如权利要求8所述的方法， 其特 征在于， 所述匹配代价计算公式为： 其中， bboxcam_iI bboxlidar_k为bboxcam_i与bboxlidar_k交集的三维框体积； bboxcam_iI  bboxlidar_k为bboxcam_i与bboxlidar_k并集的三维框体积； cik为bboxcam_i与bboxlidar_k最小包围 长方体的对角线长度； dik为几何中心Pi与Qk的欧氏距离 。 10.如权利要求8所述的方法， 其特征在于， 利用匹配结果将视觉与激光雷达检测目标 分成三类： 只被视觉检测到、 只被雷达检测到、 被雷达与视觉同时检测到； 只被视觉检测到 或只被雷达检测到视为匹配不成功， 被雷达与视觉同时检测到视为匹配成功， 对匹配不成 功的目标保留视 觉或雷达检测信息， 对匹配成功的目标信息进行进一 步补充修 正。权　利　要　求　书 2/2 页 3 CN 114463303 A 3