(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210141102.X (22)申请日 2022.02.16 (71)申请人 奥比中光科技 集团股份有限公司 地址 518063 广东省深圳市南 山区粤海街 道学府路63号高新区联合总部大厦 11-13楼 (72)发明人 陈碧辉　辛冠希　钱贝贝　 (74)专利代理 机构 深圳汉世知识产权代理事务 所(特殊普通 合伙) 44578 专利代理师 冷仔 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种人脸识别方法、 装置及电子设备 (57)摘要 本申请涉及人脸识别技术领域， 尤其涉及一 种人脸识别方法、 装置及电子设备。 该人脸识别 方法包括： 获取第一模态的第一人脸图像和第二 模态的第二人脸图像； 根据所述第一人脸图像或 所述第二人脸图像确定人脸是否佩戴口罩； 若 是， 则对所述第一人脸图像的口罩区域进行裁剪 得到第一模态半脸图像， 将所述第一模态半脸图 像输入经训练的第一神经网络模型输出第一模 态人脸特征数据； 对所述第二人脸图像的口罩区 域进行裁剪得到第二模态半脸图像， 将所述第二 模态半脸图像输入经训练的第二神经网络模型 输出第二模态人脸特征数据； 根据所述第一模态 人脸特征数据和所述第二模态人脸特征数据进 行人脸识别。 本申请实施例可以提升对口罩人脸 进行人脸识别的准确度。 权利要求书2页 说明书9页 附图7页 CN 114519882 A 2022.05.20 CN 114519882 A 1.一种人脸识别方法， 其特 征在于， 包括： 获取第一模态的第一人脸图像和第二模态的第二人脸图像； 根据所述第一人脸图像或所述第二人脸图像确定人脸是否佩戴口罩； 若是， 则对所述第一人脸图像的口罩区域进行裁剪得到第一模态半脸图像， 将所述第 一模态半脸图像输入经训练的第一神经网络模型输出第一模态人脸特征数据； 对所述第二 人脸图像的口罩区域进行裁剪得到第二模态半脸图像， 将所述第二模态半脸图像输入经训 练的第二神经网络模型输出第二模态人脸特 征数据； 根据所述第一模态人脸特 征数据和所述第二模态人脸特 征数据进行 人脸识别。 2.如权利要求1所述的人脸识别方法， 其特征在于， 经训练 的所述第 一神经网络模型由 多个所述第一模态的第一图像样本训练初始的所述第一神经网络模型得到， 所述第一图像 样本包括第一半脸图像； 经训练的所述第二神经网络模型由多个所述第二模态的第二图像 样本训练初始的所述第二神经网络模型得到， 所述第二图像样本包括第二半脸图像， 经训 练的所述第一神经网络模型作为初始的所述第二神经网络模型， 所述第一图像样本的数量 大于所述第二图像样本的数量。 3.如权利要求2所述的人脸识别方法， 其特征在于， 得到经训练 的所述第 一神经网络模 型， 包括： 获取多个第一模态的第一人脸图像样本； 对所述第一人脸图像样 本依次进 行人脸 检测、 半脸剪裁和归一化处理后得到第一半脸图像； 利用多个所述第一半脸图像， 使用分类 损失训练初始的第一神经网络模型 得到经训练的第一神经网络； 得到经训练的所述第二神经网络模型， 包括： 获取多个第 二模态的第 二人脸图像样本； 对所述第二人脸图像样本依次进行人脸检测、 半脸剪裁和归一化处理后得到第二半脸图 像； 利用多个所述第二半脸图像， 使用分类损失训练初始的第二神经网络模型得到经训练 的第二神经网络 。 4.如权利要求1至3任一项所述的人脸识别方法， 其特征在于， 所述根据所述第一模态 人脸特征数据和所述第二模态人脸特 征数据进行 人脸识别， 包括： 将所述第一模态人脸特征数据和所述第 二模态人脸特征数据进行拼接， 得到人脸融合 特征数据， 根据所述人脸融合特 征数据进行 人脸识别。 5.如权利要求1至3任一项所述的人脸识别方法， 其特征在于， 所述根据所述第一人脸 图像或所述第二人脸图像确定人脸佩戴口罩， 包括： 将所述第一人脸图像输入第 三神经网络模型输出人脸佩戴口罩的第 一概率， 当所述第 一概率大于预设概 率阈值， 则确定人脸佩戴口罩； 或 将所述第二人脸图像输入第四神经网络模型输出人脸佩戴口罩的第 二概率， 当所述第 二概率大于所述预设概 率阈值， 则确定人脸佩戴口罩。 6.如权利要求5所述的人脸识别方法， 其特征在于， 所述将所述第 一人脸图像输入第 三 神经网络模型输出 人脸佩戴口罩的第一 概率， 包括： 将所述第一人脸图像缩放成预设尺寸， 将缩放后的所述第 一人脸图像输入第 三神经网 络模型输出 人脸佩戴口罩的第一 概率； 所述将所述第二人脸图像输入第四神经网络模型输出人脸佩戴口罩的第二概率， 包 括： 将所述第二人脸图像缩放成所述预设尺寸， 将缩放后的所述第 二人脸图像输入第四神权　利　要　求　书 1/2 页 2 CN 114519882 A 2经网络模型输出 人脸佩戴口罩的第二 概率。 7.如权利要求6所述的人脸识别方法， 其特征在于， 所述第 三神经网络模型和所述第四 神经网络模型由逐通道卷积模块和线性整流 函数模块 堆叠而成。 8.一种人脸识别装置， 其特 征在于， 包括： 获取模块， 用于获取第一模态的第一人脸图像和第二模态的第二人脸图像； 确定模块， 用于根据所述第一人脸图像或所述第二人脸图像确定人脸是否佩戴口罩； 提取模块， 用于若所述确定模块确定人脸佩戴口罩， 则对所述第一人脸图像的口罩区 域进行裁剪得到第一模态半脸图像， 将所述第一模态半脸图像输入经训练的第一神经网络 模型输出第一模态人脸特征数据； 对所述第二人脸图像的口罩区域进 行裁剪得到第二模态 半脸图像， 将所述第二模态半脸图像输入经训练的第二神经网络模型输出第二模态人脸特 征数据； 识别模块， 用于根据 所述第一模态人脸特征数据和所述第 二模态人脸特征数据进行人 脸识别。 9.一种电子设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 任一项所述的人脸识别方法。 10.一种计算机存储介质， 所述计算机存储介质存储有计算机程序， 其特征在于， 所述 计算机程序被处 理器执行时实现如权利要求1至7任一项所述的人脸识别方法。权　利　要　求　书 2/2 页 3 CN 114519882 A 3