(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221017214 4.X (22)申请日 2022.02.24 (71)申请人 江苏师范大学 地址 221004 江苏省徐州市铜山区上海路 101号 (72)发明人 任星光　段纳　徐止政　 (74)专利代理 机构 徐州先卓知识产权代理事务 所(普通合伙) 32555 专利代理师 于浩 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/774(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种双通道的FaceNet遮挡人脸识别方法 (57)摘要 本发明提供一种基于深度学习遮挡人脸方 法， 第一步， 通过人脸关键点算法确定人脸关键 点， 第二步， 通过人脸关键确定眼睛、 嘴巴、 鼻子 的位置， 并将其截取， 第三步， 构建双通道 FaceNet主干 特征提取网络， 第四步， 运用三元组 损失训练双通道主干网络FaceNet网络。 本发明 针对大面积的遮挡使Fac eNet可以利用的特征信 息大幅度减少从而降低识别精度的问题， 本发明 建双通道FaceNet网络模型， 该模型包含全局通 道与局部特征通道， 加强网络对局部特征的学 习， 提高了可用特征的利用率， 从而改善了 FaceNet在有 遮挡的情况 下的识别精度。 权利要求书1页 说明书3页 附图2页 CN 114677723 A 2022.06.28 CN 114677723 A 1.一种双通道的FaceNet遮挡人脸识别方法， 其特 征在于， 包括以下步骤： 、 第一步， 通过人脸关键点 算法确定人脸关键点， 第二步， 通过人脸关键确定眼睛、 嘴巴、 鼻子的位置， 并将其截取， 第三步， 构建双通道FaceNet主干特 征提取网络， 第四步， 运用三元组损失训练双通道主干网络FaceNet网络 。 2.根据权利 要求1所述的一种双通道的FaceNet遮挡人脸识别方法， 所述的第四步中三 元组分类损失 （Triplet  Loss） 是深度学习里面的损失函数， 用来训练小差异样本， 包括锚 （Anchor） 示例、 正 （Positive） 示例以及负 （Negative） 示例， 选取任意一张图片为A， 与它属 于同一个人的图片为P， 不属于同一个人的图片为N， 网络 没经过学习之前， A与P的欧式距离 可能很大， A与N的欧式距离可能很小， 在不断学习的过程中， A与P的欧式距离逐渐减小， A与 N的欧式距离逐渐增大， 网络学习特征间的可分性： 同一类特征之间的距离尽量小， 不同类 特征之间的距离尽量大， 通过 学习， 类内距离小于类间距离 。 3.根据权利要求1所述的一种双通道的FaceNet遮挡人脸识别方法， 所述的第三步， 构 建双通道Fac eNet主干特征提取网络具体为： 首先图片整体送入Inception ‑ResNet‑v1特征 提取网络得到图像的整体特征图， 之后， 先将第二步中截取的人脸局部图像上采样， 使之于 原图像的尺寸一致， 然后逐一送入Inception ‑ResNet‑v1中得到局部特征图， 最后将局部特 征图于全局特 征图进行通道融合输入到后续网络， 进 而输出一个128维的向量。权　利　要　求　书 1/1 页 2 CN 114677723 A 2一种双通道的Face Net遮挡人脸识别方 法 技术领域 [0001]本发明涉及人工智能领域， 具体为 一种基于深度学习的遮挡人脸识别方法。 背景技术 [0002]近二十年来， 伴随着信息化技术的高速发展以及各种图像视频采集技术的突飞猛 进， 视觉信息的加工和处理被广泛的应用于互联网、 智慧医疗、 智慧城市以及国防安全等领 域中。 在多种视觉信息中， 人脸信息作为人类最重要的任务特征之一， 在人类社会中有着非 常重要的作用， 它的唯一性和不易复制性为人物人份的识别提供了非常重要的作用， 这使 得人脸在身份识别与确认方面都扮演着了非常重要的角色。 因此， 以人脸识别技术作为核 心的人脸相关视觉技术， 逐渐成为计算机视觉的核心应用之一， 是信息安全和安防监控等 多种智能系统的基础核心技术。 遮挡 人脸认识别是通过计算机处理待识别的人脸图像， 降 低遮挡对人脸识别的带来的影响， 从而通过已建立的数据库确认身份的技术。 由于大面积 的遮挡意味着大量的特征信息无法利用， 导致传统机器视觉算法无法高效地对到有遮挡的 人脸进行识别。 发明内容 [0003]本发明的目的在于提供一种基于深度学习遮挡人脸方法， 以解决上述背景技术中 提出的问题。 [0004]为实现上述目的， 本发明是通过以下技 术方案实现的： 传统的Facenet人脸识别网络在待检测人脸有遮挡的情况下识别效果会变差。 为 了提高网络对遮挡人脸信息的识别效果， 本文通过改进 FaceNet人脸识别网络， 通过构建局 部与全局双通道的网络结构， 加强对局部特征 的学习， 从而提高网络对带有遮挡 人脸的识 别精度， 改善网络的泛化性。 双通道包括局部通道和全局通道， 全局通道输入是待检测人脸 图像； 局部通道的输入分别待检测人脸的五官截取， 分别是双眼、 鼻子和嘴巴。 [0005]第一步， 通过人脸关键点 算法确定人脸关键点， 第二步， 通过人脸关键确定眼睛、 嘴巴、 鼻子的位置， 并将其截取。 [0006]第三步， 构建双通道FaceNet主干特 征提取网络 。 [0007]第四步， 运用三元组损失训练双通道主干网络FaceNet网络， 三元组分类损失 (Triplet Loss)是深度学习里面的损失函数， 用来训练小差异样本。 包括锚(Anchor)示例、 正(Positive)示例以及负(Negative)示例， 选取任意一张图片为A， 与它属于同一个人的图 片为P， 不属于同一个人的图片为N， 网络没经过学习之前， A与P的欧式距离可能很大， A与N 的欧式距离可能很小， 在不断学习的过程中， A与P的欧式距离逐渐减小， A与N的欧式距离逐 渐增大。 网络学习特征间的可分性： 同一类特征之 间的距离尽量小， 不同类特征之间的距离 尽量大， 通过 学习， 类内距离小于类间距离 。 [0008]三元组损失函数的原理为： 目标是特征之间的距离应该具备某些特征， 从训练数 据集中每 次抽取三张人脸图像， 设第一张 图像的人脸记作为 第二张人脸的图像记作为说　明　书 1/3 页 3 CN 114677723 A 3