(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210260159.1 (22)申请日 2022.03.16 (71)申请人 中国第一汽车股份有限公司 地址 130011 吉林省长 春市汽车 经济技术 开发区新红旗大街1号 (72)发明人 黄志福　褚红　孙博逊　王硕　 高洪伟　 (74)专利代理 机构 北京远智汇知识产权代理有 限公司 1 1659 专利代理师 刘欣 (51)Int.Cl. H04W 4/40(2018.01) G08G 1/01(2006.01) G08G 1/0967(2006.01) H04N 13/332(2018.01)G06K 9/62(2022.01) G06V 20/56(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于AR眼镜的车载感知系统及方法 (57)摘要 本发明实施例公开了一种基于AR眼镜的车 载感知系统及方法。 所述系统包括： 物体识别模 块配置为， 采用AR眼镜对当前车辆周围环 境进行 识别匹配， 确定待识别物体的身份信息以及经纬 度信息； 信息获取模块配置为， 获取其他车辆信 息以及路侧信息， 并将所述其他车辆信息以及路 侧信息发送至数据融合处理模块； 数据融合处理 模块配置为， 将其他车辆信息、 路侧信息以及待 识别物体的身份信息进行融合处理得到融合处 理结果； 信息传输模块配置为， 将融合处理结果 通过蜂窝网络发送给后台以及通过直连通信的 方式发送给其他车辆。 通过本发 明实施例的技术 方案， 通过AR眼镜进行物体识别， 补充驾驶员视 角下路侧障碍物信息， 提高了车辆的驾驶安全 性。 权利要求书2页 说明书9页 附图4页 CN 114599011 A 2022.06.07 CN 114599011 A 1.一种基于AR眼镜的车 载感知系统， 其特 征在于， 所述系统包括： 物体识别模块配置为， 采用AR眼镜对当前车辆周围环境进行识别匹配， 确定待识别物 体的身份信息以及经纬度信息； 其中， 所述待识别物体包括当前车辆周围的障碍物、 交通标 识以及交通 参与者； 信息获取模块配置为， 获取其他车辆信息以及路侧信息， 并将所述其他车辆信息以及 路侧信息发送至数据融合处 理模块； 数据融合处理模块配置为， 将其他车辆信息、 路侧信息以及待识别物体的身份信息进 行融合处 理得到融合处 理结果； 信息传输模块配置为， 将融合处理结果通过蜂窝网络发送给后台以及通过直连通信的 方式发送给其 他车辆。 2.根据权利要求1所述的系统， 其特 征在于， 所述物体识别模块包括： 通过AR眼镜对当前车辆周围环境进行扫描， 获取待识别物体的特征点信息； 其中， 所述 特征点信息包括待识别物体的形状以及大小； 将待识别物体的特征点信 息与信息库中识别物体的特征点信 息进行特征点匹配， 确定 待识别物体的身份信息； 将所述待识别物体的身份信息发送至数据融合处 理模块。 3.根据权利要求1所述的系统， 其特 征在于， 所述物体识别模块还 包括： 若所述待识别物体特征点匹配成功， 则保留所述待识别物体的身份信 息并将所述待识 别物体的身份信息发送至数据融合处 理模块； 若所述待识别物体特征点未匹配成功， 则向所述数据融合处理模块发送预设的未识别 信息。 4.根据权利要求1所述的系统， 其特 征在于， 所述信息获取模块包括： 采用信息获取设备获取路侧信息并将所述路侧信息发送至数据融合处理模块； 其中， 所述信息获取设备包括雷达以及摄 像头； 所述路侧信息包括当前 车辆行驶道路环境信息； 获取其他车辆的当前运动状态信息； 所述运动状态信息通过车 ‑车之间的直连通信进 行信息的传递。 5.根据权利要求1所述的系统， 其特 征在于， 所述数据融合处 理模块包括： 选取同一 时刻接收的待识别物体的身份信 息、 其他车辆信 息以及路侧信息进行融合处 理； 获取融合处理结果并发送至信息传输模块； 其中， 所述融合处理结果包括待识别物体 的位置信息、 大小以及运动状态。 6.根据权利要求1所述的系统， 其特 征在于， 所述数据融合处 理模块还 包括： 选取同一时刻接收的待识别物体的身份信息、 其 他车辆信息以及路侧信息； 依据待识别物体的经纬度信息， 确定所述待识别物体在世界坐标系下的中心点 坐标； 依据包含外接矩形框的待识别物体的置信度对所述待识别物体进行排序； 所述排序包 括由置信度高至 置信度低； 对相邻的且置信度高的至少两个待识别物体进行非极大值抑制处理， 获取处理后的待 识别物体； 依据处理后的待识别物体、 待识别物体的身份信息、 其他车辆信息以及路侧信息进行权　利　要　求　书 1/2 页 2 CN 114599011 A 2融合处理， 确定融合处理结果； 其中， 所述融合处理结果包括待识别物体的位置信息和尺 寸 大小。 7.根据权利要求1所述的系统， 其特 征在于， 所述信息传输模块包括： 通过蜂窝网络将融合处理结果按V2X的消息格式上传至云端后台， 并通过云端后台将 融合处理结果广播给智能交通系统； 通过车‑车之间的直连通信方式将融合处 理结果按照V 2X的消息格式发送至其 他车辆。 8.一种基于AR眼镜的车 载感知方法， 其特 征在于， 所述方法包括： 采用AR眼镜对当前车辆周围环境进行识别匹配， 确定待识别物体的身份信息以及经纬 度信息； 其中， 所述待识别物体包括当前 车辆周围的障碍物、 交通标识以及交通 参与者； 获取其他车辆信 息以及路侧信息， 并将所述其他车辆信 息以及路侧信 息发送至数据融 合处理模块； 将其他车辆信 息、 路侧信 息以及待识别物体的身份信 息进行融合处理得到 融合处理结 果； 将融合处 理结果通过蜂窝网络发送给后台以及通过直连通信的方式发送给其 他车辆。 9.根据权利要求8所述的方法， 其特征在于， 所述采用AR眼镜对当前车辆周围环境进行 识别匹配， 确定待识别物体的身份信息以及经纬度信息， 包括： 通过AR眼镜对当前车辆周围环境进行扫描， 获取待识别物体的特征点信息； 其中， 所述 特征点信息包括待识别物体的形状以及大小； 将待识别物体的特征点信 息与信息库中识别物体的特征点信 息进行特征点匹配， 确定 待识别物体的身份信息； 将所述待识别物体的身份信息发送至数据融合处 理模块。 10.根据权利要求8所述的方法， 其特征在于， 所述采用AR眼镜对当前车辆周围环境进 行识别匹配， 确定待识别物体的身份信息以及经纬度信息， 还 包括： 若所述待识别物体特征点匹配成功， 则保留所述待识别物体的身份信 息并将所述待识 别物体的身份信息发送至数据融合处 理模块； 若所述待识别物体特征点未匹配成功， 则向所述数据融合处理模块发送预设的未识别 信息。权　利　要　求　书 2/2 页 3 CN 114599011 A 3