(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211262136.0 (22)申请日 2022.10.14 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 王英博　彭从阳　 (74)专利代理 机构 北京正桓知识产权代理事务 所(普通合伙) 11979 专利代理师 郭新禹 (51)Int.Cl. G06F 3/01(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 50/00(2012.01) G06V 10/46(2022.01)G06V 40/20(2022.01) (54)发明名称 互动处理方法及装置 (57)摘要 本发明提供了一种互动处理方法及装置， 该 方法包括： 接收用户手势动作的动态图像； 对动 态图像进行手势识别， 得到动态图像的手势识别 结果图像数据； 基于该图像数据进行目标检测， 确定用户的手形变化和手势运动轨迹； 基于手形 变化和手势运动轨迹， 确定对应的手势以及手势 映射的指令； 执行该指令。 通过对用户上传的包 含手势动作的动态 图像进行手势识别和目标检 测， 确定手形变化和手势运动轨迹， 确定用户本 次手势所代替的指令， 执行指令， 完成交互， 相较 于现有技术， 不需要专门设备， 只需要含有光学 摄像头的设备即可， 例如手机等轻量级设备， 降 低了互动成本； 且手势可变换， 交互方式多样， 改 善了用户体验感。 权利要求书4页 说明书10页 附图5页 CN 115525158 A 2022.12.27 CN 115525158 A 1.一种互动处 理方法， 包括： 接收用户手势动作的动态图像； 对所述动态图像进行手势 识别， 得到所述动态图像的手势 识别结果图像数据； 基于所述手势识别结果图像数据进行目标检测， 确定用户的手形变化和手势运动轨 迹； 基于所述手形变化和手势运动轨迹， 确定所述手形变化和手势运动轨迹对应的手势以 及所述手势映射的指令； 执行所述指令 。 2.根据权利要求1所述的互动处 理方法， 其特 征在于， 还 包括： 对所述动态图像进行图像 变换的预处 理， 得到处 理后的动态图像； 对所述动态图像进行手势 识别， 得到所述动态图像的手势 识别结果图像数据， 包括： 将处理后的动态图像输入手势 识别模型中， 得到手势 识别结果图像数据。 3.根据权利要求2所述的互动处理方法， 其特征在于， 所述手势识别模型是预先建立 的， 用于对输入的图像进行手掌识别和手掌 关键点位置识别， 得到手势 识别结果。 4.根据权利要求3所述的互动处理方法， 其特征在于， 预先建立所述手势识别模型包 括： 获取多张手势图像， 进行手部区域标注和手部关键点 位标注， 形成训练集； 基于MediaPipe构建用于标注图像中的手部关键点 位置的手势 识别模型； 利用所述训练集对构建的手势 识别模型进行训练， 得到所述手势 识别模型。 5.根据权利要求4所述的互动处理方法， 其特征在于， 预先建立所述手势识别模型， 还 包括： 对所述多张手势图像进行图像增广， 得到扩增后的训练集； 利用所述训练集对构建的手势 识别模型进行训练， 得到所述手势 识别模型， 包括： 利用扩增后的训练集对构建的手势 识别模型进行训练， 得到所述手势 识别模型。 6.根据权利要求4所述的互动处理方法， 其特征在于， 将处理后的动态图像输入手势识 别模型中， 得到手势 识别结果图像数据， 包括： 将处理后的动态图像按时序拆分成多帧图像； 将所述多帧图像输入预先建立的手势识别模型中， 得到每一帧图像的手部关键点位置 标注结果图像； 将多帧图像的手部关键点位置标注结果图像， 按照 时序排列， 得到处理后的动态图像 的手势识别结果图像数据。 7.根据权利要求1所述的互动处 理方法， 其特 征在于， 还 包括： 利用抽帧的方式， 在所述手势识别结果图像数据进行采样， 得到采样后的手势识别结 果图像数据； 基于所述手势识别结果图像数据进行目标检测， 确定用户的手形变化和手势运动轨 迹， 包括： 将采样后的手势识别结果图像数据输入目标检测模型中， 确定用户的手形变化和手势 运动轨迹。 8.根据权利要求1至7任一所述的互动处理方法， 其特征在于， 基于所述手形变化和手权　利　要　求　书 1/4 页 2 CN 115525158 A 2势运动轨迹， 确定所述手形变化和手势运动轨迹对应的手势以及所述手势映射的指令， 包 括： 在预先建立的手势库中查找确定所述手形变化和手势运动轨迹对应的手势以及所述 手势映射的指令； 其中， 所述手势库中记录有手势标识、 手势对应的手形变化和手势运动轨迹以及手势 映射的指令之间的关联关系。 9.根据权利要求8所述的互动处 理方法， 其特 征在于， 还 包括： 接收用户自定义手势需求， 确定所述自定义手势标识和所述自定义手势映射的指令； 采集自定义手势的动态图像， 形成基础数据集； 对所述基础数据集进行手势 识别， 得到所述自定义手势的手势 识别结果图像数据； 基于所述自定义手势的手势识别结果图像数据进行目标检测， 得到所述自定义手势的 手形变化和手势运动轨 迹； 将所述自定义手势标识、 所述自定义手势的手形变化和手势运动轨迹和所述自定义手 势映射的指令， 存 入所述手势库中。 10.根据权利要求9所述的互动处理方法， 其特征在于， 采集自定义手势的动态图像， 形 成基础数据集， 包括： 多次采集自定义手势的动态图像， 每次采集到的动态图像形成一个时序图像集； 对多个时序图像集取交集， 得到基础数据集。 11.根据权利要求8所述的互动处 理方法， 其特 征在于， 还 包括： 接收用户自定义手势的规则； 根据所述 规则， 确定手势的标识、 手势的定义和手势映射的指令； 根据手势的定义， 模拟出 该手势的手形变化和手势运动轨 迹； 将手势的标识、 该手势的手形变化和手势运动轨迹以及手势映射的指令， 存入所述手 势库中。 12.一种互动处 理装置， 包括： 图像接收模块， 用于 接收用户手势动作的动态图像； 手势识别模块， 用于对所述动态图像进行手势识别， 得到所述动态图像的手势识别结 果图像数据； 目标检测模块， 用于基于所述手势识别结果图像数据进行目标检测， 确定用户的手形 变化和手势运动轨 迹； 映射指令确定模块， 用于基于所述手形变化和手势运动轨迹， 确定所述手形变化和手 势运动轨 迹对应的手势以及所述手势映射的指令； 以及 指令执行模块， 用于执 行所述指令 。 13.根据权利要求12所述的互动处 理装置， 其特 征在于， 还 包括： 预处理模块， 用于对所述动态图像进行图像 变换的预处 理， 得到处 理后的动态图像； 所述手势识别模块， 用于： 将处理后的动态图像输入手势识别模型中， 得到手势识别结 果图像数据。 14.根据权利要求13所述的互动处理装置， 其特征在于， 所述手势识别模型是预先建立 的， 用于对输入的图像进行手掌识别和手掌 关键点位置识别， 得到手势 识别结果。权　利　要　求　书 2/4 页 3 CN 115525158 A 3