(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210119054.4 (22)申请日 2022.02.08 (71)申请人 武汉路特斯汽车有限公司 地址 430056 湖北省武汉市武汉经济技 术 开发区川江池二路28号3号楼 A404 (72)发明人 张振　刘潇　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 郑华洁 (51)Int.Cl. G06T 13/40(2011.01) G06V 10/80(2022.01) G10L 13/08(2013.01) (54)发明名称 一种动画融合方法和装置 (57)摘要 本发明涉及了一种动画融合方法和装置， 所 述方法包括： 获取预设文本内容对应的语音内 容； 确定语音内容对应的目标音素和目标音素对 应的时间戳信息； 根据目标音素和时间戳信息， 确定语音内容对应的音素序列； 获取音素序列对 应的预设虚拟对象的表情动画序列和口型动画 序列； 基于时间戳信息， 对音素序列、 口型动画序 列和表情动画序列进行融合， 得到虚拟对象有表 情地输出语音内容的面部动画。 上述方案可将每 个音素与表情、 口型进行对应， 从而实现复杂的 口型效果， 提高细节表现力； 表情动画序列和口 型动画序列基于面部捕捉设备采集得到， 不需要 人工绘制， 降低了人工成本， 并且实现了语音、 口 型、 表情三 者的融合。 权利要求书4页 说明书12页 附图4页 CN 114898019 A 2022.08.12 CN 114898019 A 1.一种动画融合方法， 其特 征在于， 所述方法包括： 获取预设文本内容对应的语音内容； 确定所述语音内容对应的目标音素和所述目标音素对应的时间戳信 息， 所述目标音素 为国际音标对应的音素； 根据所述目标音素和所述时间戳信息， 确定所述语音内容对应的音素序列； 获取所述音素序列对应的预设虚拟对象的表情动画序列和口型动画序列； 所述表情动 画序列和所述口型动画序列中的表情动画和口型动画基于面部捕捉设备采集得到； 基于所述时间戳信息， 对所述音素序列、 所述口型动画序列和所述表情动画序列进行 融合， 得到所述虚拟对象有表情地输出 所述语音内容的面部动画。 2.根据权利要求1所述的方法， 其特征在于， 在获取预设文本内容对应的语音内容之 前， 还包括： 接收语音请求信息； 确定所述语音请求信 息对应的文本回复内容， 并将所述文本回复内容作为预设文本 内 容。 3.根据权利要求1所述的方法， 其特征在于， 在获取预设文本内容对应的语音内容之 前， 还包括： 利用面部捕捉设备采集预设 真实对象的各个情绪状态下的三维面部表情数据； 基于所述真实对象的三维面部特 征， 构建所述真实对象的三维面部网格模型； 获取所述三维面部网格各个区域对应的所述 三维面部表情数据， 得到网格表情数据； 根据所述真实对象和预设虚拟对象的面部骨骼点的对应关系， 将所述网格表情数据绑 定到所述虚拟对象的面部， 得到在所述各个情绪状态下的所述虚拟对象的面部表情数据。 4.根据权利要求3所述的方法， 其特征在于， 在得到在所述各个情绪状态下的所述虚拟 对象的面部表情数据之后， 还 包括： 根据所述情绪状态的类别对所述虚拟对象的面部表情数据设置情绪标签， 得到表情情 绪标签。 5.根据权利要求4所述的方法， 其特征在于， 所述获取所述音素序列对应的虚拟对象的 表情动画序列， 包括： 确定所述音素序列中各个音素对应的情绪， 得到多个音素情绪； 从所述表情情绪标签中确定与所述音素情绪匹配的表情情绪标签， 得到多个目标表情 情绪标签； 获取所述目标表情 情绪标签对应的虚拟对象的面部表情数据； 根据所述音素序列中各个音素对应的时间戳信 息， 确定所述虚拟对象的面部表情数据 的时间戳信息； 根据所述虚拟对象的面部表情数据和所述虚拟对象的面部表情数据的时间戳信 息， 确 定所述虚拟对象的表情动画序列。 6.根据权利要求3所述的方法， 其特征在于， 在获取预设文本内容对应的语音内容之 前， 还包括： 获取国际音标下的音素集合， 并获取所述音素集合中的各个音素对应的标准口型， 得 到标准口型集 合；权　利　要　求　书 1/4 页 2 CN 114898019 A 2利用面部捕捉设备采集所述真实对象模拟所述标准口型集合中的口型时的三维口型 数据， 得到真实对象的三维口型 数据； 根据所述 三维面部网格， 确定所述真实对象的三维口型 数据对应的网格口型 数据； 根据所述真实对象和所述虚拟对象的口部骨骼点的对应关系， 将所述网格口型数据绑 定到所述虚拟对象的 口部， 得到各个音素对应的所述虚拟对象的三维口型 数据； 为所述三维口型 数据设置音素 标签， 得到音素口型 标签。 7.根据权利要求6所述的方法， 其特征在于， 所述获取所述音素序列对应的预设虚拟对 象的口型动画序列， 包括： 根据所述音素口型标签， 确定与 所述音素序列中的各个音素对应的所述虚拟对象的三 维口型数据； 根据所述音素序列中各个音素对应的时间戳信 息， 确定所述虚拟对象的三维口型数据 对应的时间戳信息； 根据所述虚拟对象的三维口型数据和所述虚拟对象的三维口型数据对应的时间戳信 息， 确定所述音素序列对应的所述虚拟对象的 口型动画序列。 8.根据权利要求1所述的方法， 其特征在于， 所述基于所述时间戳信息， 对所述音素序 列、 所述口型动画序列和所述表情动画序列进行融合， 包括： 基于所述时间戳信息， 利用蒙太奇融合方法对所述音素序列、 所述口型动画序列和所 述表情动画序列进行融合。 9.根据权利要求8所述的方法， 其特征在于， 所述基于所述时间戳信息， 利用蒙太奇融 合方法对所述音素序列、 所述口型动画序列和所述表情动画序列进行融合， 包括： 利用所述时间戳信息， 将所述音素序列、 所述口型动画序列和所述表情动画序列在时 间上进行对齐处 理； 根据所述对齐处理的结果， 对所述音素序列、 所述口型动画序列和所述表情动画序列 进行融合处 理， 得到初始融合动画； 利用插值算法分别确定所述口型动画序列和所述表情动画序列中， 相邻 两个时间戳之 间的画面帧， 得到补充画面帧； 将所述补充画面帧插入所述初始融合动画中， 得到所述虚拟对象有表情地输出所述语 音内容的面部动画。 10.一种动画融合装置， 其特 征在于， 所述装置包括： 语音内容获取模块， 用于获取 预设文本内容对应的语音内容； 目标音素确定模块， 用于确定所述语音内容对应的目标音素和所述目标音素对应的时 间戳信息， 所述目标音素为国际音标对应的音素； 音素序列确定模块， 用于根据所述目标音素和所述时间戳信息， 确定所述语音内容对 应的音素序列； 表情口型序列获取模块， 用于获取所述音素序列对应的预设虚拟对象的表情动画序列 和口型动画序列； 融合模块， 用于基于所述 时间戳信 息， 对所述音素序列、 所述口型动画序列和所述表情 动画序列进行融合， 得到所述虚拟对象有表情地输出 所述语音内容的面部动画。 11.根据权利要求10所述的装置， 其特 征在于， 所述装置还 包括：权　利　要　求　书 2/4 页 3 CN 114898019 A 3