(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210119930.3 (22)申请日 2022.02.09 (71)申请人 华侨大学 地址 362021 福建省泉州市城华北路269号 申请人 福建省公田软件股份有限公司 (72)发明人 骆炎民　王友杰　林躬耕　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 专利代理师 赵兴华 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06K 9/62(2022.01)G06N 3/04(2006.01) (54)发明名称 一种基于人体结构引导学习网络的姿态估 计方法及系统 (57)摘要 本发明公开一种基于人体结构引导学习网 络的姿态估计方法及系统， 涉及人体姿态估计技 术领域， 包括： 获取待测人体姿态图像； 将待测人 体姿态图像输入至人体姿态估计模 型中， 以获取 人体姿态； 人体姿态估计模型是根据训练集和标 定深度卷积神经网络训练得到的； 训练集包括多 张第一图像以及与第一图像对应的标签信息； 标 签信息为所述第一图像中的人体关节 点； 人体关 节点用于构建所述人体姿态； 标定深度卷积神经 网络包括茎网络、 第一主干网络、 第二主干网络、 人体结构引导学习分支网络和特征融合细化网 络。 本发明结合人体结构引导学习方法和特征融 合方法构建人体姿态估计模型， 提高模型预测的 精确度。 权利要求书5页 说明书13页 附图2页 CN 115223190 A 2022.10.21 CN 115223190 A 1.一种基于人体结构引导学习网络的姿态估计方法， 其特征在于， 所述姿态估计方法 包括： 获取待测人体姿态图像； 所述待测人体姿态图像包括多个人体关节点； 将所述待测人体姿态图像输入至人体姿态估计模型中， 以获取 人体姿态； 所述人体姿态估计模型是根据训练集和标定深度 卷积神经网络训练得到的； 所述训练 集包括多张第一图像以及与所述第一图像对应的标签信息； 所述标签信息为所述第一图像 中的人体关节点； 所述人体关节点用于构建所述人体姿态； 所述标定深度卷积神经网络包 括茎网络、 第一主干网络、 第二主干网络、 人体结构引导学习分支网络和特征融合细化网 络； 所述茎网络的输入端用于输入所述训练集； 所述茎网络的输出端与 所述第一主干网络 的输入端连接； 所述茎网络用于对所述训练集中的第一图像进行特征提取， 以确定第一特 征图； 所述第一主干网络的第 一输出端与 所述第二主干网络的输入端连接， 所述第 一主干网 络的第二输出端与所述人体结构引导学习分支网络的输入端连接； 所述第一主干网络用于 对所述第一特 征图进行 特征提取， 以确定第二特 征图； 所述第二主干网络的输出端与所述特征融合细化网络的第 一输入端连接， 所述第 二主 干网络用于对所述第二特 征图进行 特征提取， 以确定第三特 征图； 所述人体结构引导学习分支网络的输出端与所述特征融合细化网络的第二输入端连 接； 所述人体结构引导学习分支网络用于对所述第二特征图进行人体结构解析， 以确定第 四特征图； 所述特征融合细化网络用于对所述第三特征图和所述第四特征图进行多尺度特征融 合， 并对融合后的特 征图进行姿态细化， 以确定人体姿态。 2.根据权利要求1所述的基于人体结构引导学习网络的姿态估计方法， 其特征在于， 所 述人体结构引导学习分支网络包括编码子网络和解码子网络； 所述编码子网络的输入端与 所述第一主干网络的第 二输出端连接， 所述编码子网络的 输出端与所述解码子网络的输入端连接， 所述解码子网络的输出端与所述特征融合细化网 络的第二输入端连接； 所述编码子网络包括依次连接的多个编码模块， 所述解码子网络包括依次连接的多个 解码模块； 所述编码模块与所述解码模块一一对应， 且一个所述编码模块与对应的一个所 述解码模块残差连接； 所述编码模块包括依次连接的第一带记忆Transformer模块和下采样模块； 所述第一 带记忆Transformer模块包括非重叠窗口自注意力机制网络和带记忆单元的前向传播网 络； 所述解码模块包括依次连接的上采样模块和第二带记忆Transformer模块； 所述第二 带记忆Transformer模块包括非重叠窗口自注意力机制网络和带记忆单元的前向传播网 络。 3.根据权利要求2所述的基于人体结构引导学习网络的姿态估计方法， 其特征在于， 所 述特征融合细化网络包括多尺度融合模块和姿态细化模块； 所述多尺度融合模块的第 一输入端与所述第 二主干网络的输出端连接， 所述多尺度融权　利　要　求　书 1/5 页 2 CN 115223190 A 2合模块的第二输入端分别与多个所述解码模块的输出端连接， 所述多尺度融合模块的输出 端与所述姿态细化模块的输入端连接； 所述姿态细化模块的输出端用于 输出人体姿态； 所述多尺度融合模块包括特征融合子模块和多个特征提取子模块； 所述特征提取子模 块的数量与所述解码模块的数量相同， 且一个所述特征提取子模块与一个所述解码模块相 对应； 所述特征提取子模块的第 一输入端与所述第 二主干网络的输出端连接， 所述特征提取 子模块的第二输入端与相对应的所述解码模块的输出端连接， 所述特征提取子模块的输出 端与所述特征融合子模块的输入端连接； 所述特征融合子模块的输出端与所述姿态细化模 块的输入端连接； 所述特征融合子模块用于将多个所述特征提取子模块输出的子特征图进行融合， 以确 定最终特 征图； 所述姿态细化模块用于根据 所述最终特征图确定多个人体关节点， 并根据多个所述人 体关节点确定人体姿态。 4.根据权利要求1所述的基于人体结构引导学习网络的姿态估计方法， 其特征在于， 所 述人体姿态估计模型的训练过程， 还 包括： 确定目标损失函数； 根据所述目标损失函数和所述训练集对所述标定深度卷积神经网络进行训练， 以得到 人体姿态估计模型； 其中， 所述目标损失函数为由第 一损失函数、 第 二损失函数、 第三损失函数和第四损失 函数确定的； 所述第一损失函数用于表示所述第二特征图对应的人体关节预测点与第一图 像中人体关节点之 间的损失值； 所述第二损失函数用于表示所述第二特征图对应的人体关 节预测点的偏移 量与所述人体关节预测点的平均偏移量之 间的损失值； 所述第三损失函数 用于表示所述第四特征图对应的人体关节预测 点中各个人体关节预测 点之间的距离与第 一图像中各个人体关节点之 间的距离的损失值； 所述第四损失函数用于表示所述融合后的 特征图对应的人体关节预测点与第一图像中人体关节点之间的损失值。 5.根据权利要求4所述的基于人体结构引导学习网络的姿态估计方法， 其特征在于， 所 述第一损失函数为： 其中， Lh表示第一损失函数值； i表示人体编号， j为人体关节点的编号， 且 i,j为正整数； Pi(pj)表示第二特征图中第i个人的人体关节预测点； 表示与所述第二 特征图对应的关节点热图， 表示与所述第二特征图对应的关节点热图中的粗关节点， λ 表示关节点的个数； Gi(pj)表示第i个人在第一图像中真实的人体关节点； G＝{g1,...,gλ}， 表示与第一图像对应的关节点热图， gλ表示与第一图像对应的关节点热图中真实的人体关 节点；权　利　要　求　书 2/5 页 3 CN 115223190 A 3