(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210272647.4 (22)申请日 2022.03.18 (71)申请人 麒麟合盛网络技 术股份有限公司 地址 100085 北京市海淀区信息路2号 二层 207A室 (72)发明人 姚国庆　李涛　 (74)专利代理 机构 北京国昊天诚知识产权代理 有限公司 1 1315 专利代理师 许振新 (51)Int.Cl. G06T 3/00(2006.01) G06V 40/16(2022.01) G06V 10/80(2022.01) G06K 9/62(2022.01) G06T 7/33(2017.01) (54)发明名称 一种人脸图像处 理方法和装置 (57)摘要 本申请公开了一种人脸图像处理方法和装 置， 该方法包括： 获取包含人脸的用户图像和模 板图像； 对用户人脸的五官信息进行特征提取得 到第一人脸特征， 对模板人脸的人脸效果信息进 行特征提取得到第二人脸特征； 对第一人脸特征 和第二人脸特征进行融合得到目标人脸； 对目标 人脸进行配准处理， 并将模板图像中的模板人脸 替换为配准处理后的目标人脸， 得到第一图像， 配准处理后的目标人脸和模板人脸的角度、 方向 和坐标位置一致； 提取第一图像中的人脸模糊特 征和边界痕迹特征， 基于人脸模糊特征和边界痕 迹特征对第一图像进行修复处理， 得到目标图 像。 本申请实施例可 以对任意人脸进行换脸， 且 换脸效果 真实自然， 无曝光、 变形等问题， 图像清 晰且无边界痕迹 。 权利要求书3页 说明书16页 附图5页 CN 114612291 A 2022.06.10 CN 114612291 A 1.一种人脸图像处 理方法， 其特 征在于， 包括： 获取用户图像和模板 图像， 所述用户图像中包含用户人脸， 所述模板 图像中包含模板 人脸； 对所述用户人脸的五官信 息进行特征提取得到第 一人脸特征， 以及对所述模板人脸的 人脸效果信息进行 特征提取得到第二人脸特 征； 对所述第一人脸特 征和所述第二人脸特 征进行融合， 得到目标 人脸； 对所述目标人脸进行配准处理， 并将所述模板图像中的所述模板人脸替换为配准处理 后的所述目标人脸， 得到第一图像， 配准处理后的所述目标人脸的角度、 方向和坐标位置与 所述模板人脸的角度、 方向和坐标位置一 致； 提取所述第 一图像中的人脸模糊特征和边界痕迹特征， 基于所述人脸模糊特征和所述 边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进 行修复处理， 得到目标图 像。 2.如权利要求1所述的方法， 其特征在于， 在获取用户图像和模板 图像后， 在对所述用 户人脸的五官信息以及所述模板人脸的人脸效果信息分别进 行特征提取之前， 所述方法还 包括： 对所述用户图像进行人脸识别， 得到第一矩形框和用户人脸关键点； 基于所述第一矩 形框对所述用户图像进行裁剪， 得到所述用户人脸； 基于所述用户人脸关键点对所述用户 人脸进行配准处 理； 对所述模板 图像进行人脸识别， 得到第二矩形框和模板人脸关键点； 基于所述第二矩 形框对所述模板图像进行裁剪， 得到所述模板人脸； 基于所述模板人脸关键点对所述模板 人脸进行配准处 理； 其中， 配准处理后的所述用户人脸的角度、 方向和坐标位置与配准处理后的所述模板 人脸的角度、 方向和坐标位置一 致。 3.如权利要求2所述的方法， 其特征在于， 在基于所述模板人脸关键点对所述模板人脸 进行配准处 理后， 所述方法还 包括： 确定与配准处理后的所述模板人脸对应的仿射变换矩阵， 所述仿射变换矩阵用于对所 述目标人脸进行配准处 理。 4.如权利要求1所述的方法， 其特 征在于， 所述人脸效果信息包括以下至少一项： 所述模板人脸的肤色信息； 所述模板人脸的表情信息 。 5.如权利要求1所述的方法， 其特 征在于， 对所述目标 人脸进行配准处 理， 包括： 获取与所述模板人脸对应的仿射变换矩阵； 确定与所述仿射变换矩阵对应的逆矩阵； 基于所述逆矩阵， 通过二 值归一化的方式对所述目标 人脸进行配准处 理。 6.如权利要求1所述的方法， 其特征在于， 提取所述第 一图像中的人脸模糊特征和边界 痕迹特征， 包括： 获取所述第 一图像中指定区域内的第 二图像， 所述指定区域包括人脸模糊区域和融合 边界区域； 对所述第二图像中的所述人脸模糊区域进行特征提取得到所述人脸模糊特征， 以及对权　利　要　求　书 1/3 页 2 CN 114612291 A 2所述第二图像中的所述融合 边界区域进行 特征提取得到所述 边界痕迹特 征。 7.如权利要求6所述的方法， 其特征在于， 获取所述第一图像中指定区域内的第二图 像， 包括： 对所述第一图像进行 人脸识别， 得到第三矩形框； 对所述第三矩形框的坐标进行放大， 得到第四矩阵框； 基于所述第四矩形框对所述第一图像进行裁 剪， 得到所述第二图像。 8.如权利要求7 所述的方法， 其特 征在于， 在得到所述第二图像后， 所述方法还 包括： 获取所述第二图像中的第一人脸的人脸关键点； 基于所述人脸关键点对所述第 一人脸进行配准处理， 并确定与配准处理后的所述第 一 人脸对应的仿射变换矩阵， 配准处理后的所述第一人脸的角度、 方向和 坐标位置为指定角 度、 指定方向和指定坐标位置； 其中， 在对所述第 二图像中的所述人脸模糊区域以及所述融合边界区域进行修复处理 后， 所述方法还 包括： 基于与配准处理后的所述第一人脸对应的仿射变换矩阵对所述第一人脸再次进行配 准处理， 将再次配准处 理后的所述第一人脸还原到所述第一图像中， 得到所述目标图像。 9.一种人脸图像处 理装置， 其特 征在于， 包括： 获取模块， 获取用户图像和模板图像， 所述用户图像 中包含用户人脸， 所述模板图像中 包含模板人脸； 特征提取模块， 对所述用户人脸的五官信息进行特征提取得到第一人脸特征， 以及对 所述模板人脸的人脸效果信息进行 特征提取得到第二人脸特 征； 特征融合模块， 对所述第一人脸特 征和所述第二人脸特 征进行融合， 得到目标 人脸； 人脸替换模块， 对所述目标人脸进行配准处理， 并将所述模板 图像中的所述模板人脸 替换为配准处理后的所述目标人脸， 得到第一图像， 配准处理后的所述目标人脸的角度、 方 向和坐标位置与所述模板人脸的角度、 方向和坐标位置一 致； 修复模块， 提取所述第一图像中的人脸模糊特征和边界痕迹特征， 基于所述人脸模糊 特征和所述边界痕迹特征对所述第一图像的人脸模糊区域和融合边界区域进 行修复处理， 得到目标图像。 10.一种电子设备， 其特 征在于， 包括： 处理器； 以及 被安排成存储计算机可执行指令的存储器， 该可执行指令在被执行时使该处理器执行 以下操作： 获取用户图像和模板 图像， 所述用户图像中包含用户人脸， 所述模板 图像中包含模板 人脸； 对所述用户人脸的五官信 息进行特征提取得到第 一人脸特征， 以及对所述模板人脸的 人脸效果信息进行 特征提取得到第二人脸特 征； 对所述第一人脸特 征和所述第二人脸特 征进行融合， 得到目标 人脸； 对所述目标人脸进行配准处理， 并将所述模板图像中的所述模板人脸替换为配准处理 后的所述目标人脸， 得到第一图像， 配准处理后的所述目标人脸的角度、 方向和坐标位置与 所述模板人脸的角度、 方向和坐标位置一 致；权　利　要　求　书 2/3 页 3 CN 114612291 A 3