(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210231030.8 (22)申请日 2022.03.10 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 陈意　任重　翁彦琳　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06T 7/50(2017.01) G06T 17/00(2006.01) G06V 10/26(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于RGB-D图像的语义化三维人脸重建 方法 (57)摘要 本发明公开了一种基于RGB ‑D图像的语义化 三维人脸重建方法， 首先通过深度相机或者带深 度摄像头的手机拍摄连续多帧转动头部时的 RGB‑D图像， 作为输入数据； 然后根据RGB ‑D图像 中包含的颜色数据和深度数据， 鲁棒地构建人脸 的TSDF模型； 最后通过基于3DMM的人脸拟合得到 语义化三维人脸网格模型。 本发 明能够鲁棒地从 输入RGB‑D视频序列中恢复出顶点数固定， 拓扑 一致的带有语义的人脸三维模型， 恢复的人脸模 型质量较高， 且 可以方便的用于人脸动画等需要 人脸语义的后续任务。 权利要求书3页 说明书8页 附图1页 CN 114612539 A 2022.06.10 CN 114612539 A 1.一种基于RGB ‑D图像的语义 化三维人脸重建方法， 其特 征在于， 包括以下步骤： 步骤一： 通过深度相机或者带深度摄像头的手机拍摄连续多帧转动头部时的RGB ‑D图 像， 作为输入数据； 步骤二： 根据RGB ‑D图像中包 含的颜色数据和深度数据， 鲁棒 地构建人脸的TS DF模型； 步骤三： 根据步骤二构建的人脸TSDF模型， 通过基于3DMM的人脸拟合得到语义化三维 人脸网格模型。 2.根据权利要求1所述的基于RGB ‑D图像的语义化三维人脸重建方法， 其特征在于， 所 述步骤(2)包括以下子步骤： (2.1)预处理： 首先将RGB图像对齐到深度图像上， 然后对深度图进行双边滤波来降低 噪声， 接着再根据相机内参计算顶点图和法向图； (2.2)人脸特征点检测和人脸分割： 首先使用DDE算法进行人脸特征点检测， 得到人脸 特征点在RGB图像中的二维坐标， 其集合记为 假设 在深度图中的对应深度为dl， 得到特征点的三维坐标 关系如下： 然后通过神经网络对输入RGB图像进行语义分割， 剔除掉与人脸无关的部分， 只保留人 脸部分数据， 实现人脸分割； (2.3)位姿估计： 通过结合特征点的ICP变种方法估计当前RGB ‑D帧在全局坐标系下的 六自由度刚体 变换T： Eicp＝wdenseEdense+wlandmarksElandmarks 其中， Edense代表的是基于深度图像的误差， wdense代表该项的权重； Elandmarks是基于人脸 特征点的误差， wlandmarks代表的是该项的权 重； Edense的具体公式为： 其中， vk‑1、 nk‑1分别为前一帧视角下渲染得到的顶点图和法向图， Elandmarks的具体公式 为： 其中， T0表示第一帧的刚体变换， 表示第一帧中各人脸特征点的三维坐标， 表示 第k帧也就是当前帧中各 人脸特征点的三维坐标； (2.4)数据融合： 将已融合的TS DF值与当前帧下的TS DF值进行加权平均； (2.5)表面预测： 根据当前已融合的TSDF模型， 利用光线 投射方法渲染出当前帧视角下 的预测顶点图， 以用于下一帧的帧到模型的位姿估计。 3.根据权利要求2所述的基于RGB ‑D图像的语义化三维人脸重建方法， 其特征在于， 所 述步骤(2.1)中， 所述对深度图进行双 边滤波具体为： 假设输入第k帧的深度图为Rk， 那么经 过双边滤波后， 图像域 上像素u处的降噪深度Dk(u)为：权　利　要　求　书 1/3 页 2 CN 114612539 A 2其中， Wp为归一化常数， 为高斯分布中的标准差参数。 4.根据权利要求2所述的基于RGB ‑D图像的语义化三维人脸重建方法， 其特征在于， 所 述步骤(2.1)中， 所述根据相机内参计算顶点图和法向图具体为： 假设相机内参为K， 像素u 的齐次化 坐标为 顶点图Vk通过相机坐标系中的反投影得到： 法向图可以通过顶点图中相邻顶点的叉积得到： Nk(u)＝v[(Vk(u+1， v)‑Vk(u， v))×(Vk(u， v+1)‑Vk(u， v))] 其中， v[x]＝x/|x|2表示将向量单位 化， 最终得到的是 单位法向量。 5.根据权利要求1所述的基于RGB ‑D图像的语义化三维人脸重建方法， 其特征在于， 所 述步骤(3)包括以下子步骤： (3.1)模板预拟合： 根据第一帧RGB ‑D图像中人脸检测的三维特征点 使用3DMM中 的对应语义点构建一一约束， 然后使用岭回归的方法来计算3DMM系数， 得到一个预拟合的 3DMM模型， 作为后续非刚体形变的初始模板； (3.2)构建形变图： 选择嵌入形变作为非刚体形变表示， 整个人脸空间的形变定义为形 变图确定的一个更低维度的形变空间， 通过控制每个形变顶点的仿射变换间接的控制整个 人脸模板的形变； 在形变模板上进行均匀采样来构建形变图， 通过最远点采样算法来进行 均匀采样； 每个形变图结点代表了一个仿射变换A， 由一个3x3的矩阵R和一个三维平移向量t构 成， 共12个变量， 结点的空间位置记 为g； 对于空间中的一点vi， 它形变后的位置 由其最近 的N个结点的仿射变换决定： 其中gj表示j结点的位置， wj表示j结点对该顶点的影响权重； 未归一化的 的计算公 式为： 其中， dmax是j结点到第N+1近的结点的距离； 归一 化后的权 重wj为： (3.3)基于TSDF的非刚体对齐： 通过最小化该能量函数来计算形变图各结点代表的仿 射变换A： Efit＝Edata+wrotErot+wregEreg 其中， Edata表示数据约束 项， 计算公式为：权　利　要　求　书 2/3 页 3 CN 114612539 A 3