(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210245454.X (22)申请日 2022.03.14 (71)申请人 山东大学 地址 250199 山东省济南市历城区山大南 路27号 (72)发明人 贲晛烨　姚军　陈振学　周洪超　 姜威　黄天欢　刘畅　 (74)专利代理 机构 济南金迪知识产权代理有限 公司 37219 专利代理师 杨树云 (51)Int.Cl. G06V 40/20(2022.01) G06V 10/80(2022.01) G06V 10/77(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于分层及分块特征融合的跨视角 步 态识别方法 (57)摘要 本发明涉及一种基于分层及分块特征融合 的跨视角步态识别方法， 包括： 构建并训练基于 分层及分块特征融合网络模型； 将待识别身份的 步态剪影图序列送入训练好的基于分层及分块 特征融合网络模 型获取步态特征， 通过与注册数 据集进行特征相似性比对完成查询样本的身份 识别； 构建基于分层及分块特征融合网络模型， 包括： 依次构建分层步态识别框架、 部分特征混 合掩膜、 骨架网络、 分级水平金字塔、 分块特征融 合模块； 本发明提出的分层步态识别框架， 打破 通用步态识别框架先提取特征再进行特征映射 的先后顺序， 可以从特征提取的任意阶段获取特 征进行映射， 使用高级特征与低级特征相结合的 方式， 具有更好的效果以及更 大的灵活性。 权利要求书2页 说明书14页 附图3页 CN 114677755 A 2022.06.28 CN 114677755 A 1.一种基于分层 及分块特 征融合的跨视角步态 识别方法， 其特 征在于， 包括： 构建并训练基于分层 及分块特 征融合网络模型； 将待识别身份的步态剪影图序列送入训练好的基于分层及分块特征融合网络模型获 取步态特征， 通过与注册数据集进行特征相似性比对完成查询样本的身份识别， 完成跨视 角步态识别； 其中， 构建基于分层及分块特征融合网络模型， 包括： 依次构建分层步态识别框架、 部 分特征混合掩膜、 骨架网络、 分级水平金字塔、 分块特 征融合模块； 构建部分特征混合掩膜使得步态序列中的行人剪影预先包含其他部位特征； 构建骨架 网络进行初步的特征提取； 构建分级水平金字塔增加网络深度， 充分利用步态序列的高级 特征和低级特征， 构建分级水平金字塔结构， 搭配瓶颈结构实现以最小的计算成本提升网 络深度， 并同时进行通道的平滑连接； 构建分块特征融合模块对各个分块特征进行二次分 配。 2.根据权利要求1所述的一种基于分层及分块特征融合的跨视角步态识别方法， 其特 征在于， 构建分层步态识别框架， 是指： 从逻辑上将 基于分层及分块特征融合网络模型即步 态识别网络分为特征提取层、 特征连接层和特征映射层， 从特征提取各个阶段直接获取特 征进行映射； 进一步优选的， 构建 分层步态 识别框架， 具体是指： a、 输入图像输入特 征提取层， 提取到分级特 征作为特 征连接层的输入； b、 输入特征连接层的分级特征经过特征连接层的平滑和进一步提取， 按特定分块组合 进行分块用于特 征映射； c、 特征映射层将步骤b中分块后的特 征进行映射并拼接， 作为 最终特征。 3.根据权利要求1所述的一种基于分层及分块特征融合的跨视角步态识别方法， 其特 征在于， 构建部分特征混合掩膜， 是指： 对输入的步态剪影图序列进行预增强， 从序列生成 混合了各个分块特 征的掩膜并覆盖原来的剪影图序列； 进一步优选的， 构建部分特 征混合掩膜， 具体是指： d、 构建分块关系矩阵， 以进行 各个分块关系的确定； e、 利用步骤d中的关系矩阵生成轮廓图序列中各帧图像的掩膜， 并与原图像结合。 4.根据权利要求1所述的一种基于分层及分块特征融合的跨视角步态识别方法， 其特 征在于， 构建骨架网络， 是指： 骨架网络包括若干卷积层和池化层， 输入剪影图序列在骨架 网络中进行初级特 征及高级特 征提取。 5.根据权利要求1所述的一种基于分层及分块特征融合的跨视角步态识别方法， 其特 征在于， 构建分级水平金字塔， 是指： 分级水平金字塔包括帧池化层及瓶颈结构； 从骨架网 络提取的各个阶段特征首先输入帧池化层提取最大能量帧， 将各个阶段提取到的最大能量 帧通过若干层瓶颈结构， 以极小的计算成本进行网络深度的扩展， 随后将各个阶段特征按 特定分块组合进行分块； 进一步优选的， 构建 分级水平金字塔， 具体包括： g、 特征平滑， 使用瓶颈结构进行 预先的处理； h、 按特定分块组合进行分块。 6.根据权利要求1所述的一种基于分层及分块特征融合的跨视角步态识别方法， 其特权　利　要　求　书 1/2 页 2 CN 114677755 A 2征在于， 构建分块特征融合模块， 是指： 分块特征融合模块用于对分级 水平金字塔 分块后的 特征进行二次分配； 分块特征融合模块通过计算各个分块之间的关系系 数矩阵， 对各个分 块的特征进行重新分配， 使各个分块融合 其他相邻与不相邻分块特 征， 增强特 征的辨别性。 7.根据权利要求1所述的一种基于分层及分块特征融合的跨视角步态识别方法， 其特 征在于， 训练基于分层及分块特征融合网络模型， 是指： 对分块特征融合模块的输出进行拼 接输入全连接层映射后， 利用三元组损失和交叉熵损失组合训练整个基于 分层及分块特征 融合网络模型， 以得到具有高判别性的训练好的基于分层 及分块特 征融合网络模型。 8.根据权利要求1 ‑7任一所述的一种基于分层及分块特征融合的跨视角步态识别方 法， 其特征在于， 身份识别的具体实现过程如下： 将注册数据集送入训练好的基于分层及 分块特征融合网络模型中， 将输出的特征作为 每个步态轮廓序列的整体特 征表示， 得到注 册数据集的特 征数据库； 将待识别的查询数据集中的样本送入训练好的基于分层及 分块特征融合网络模型， 得 到查询数据集的特 征； 将查询数据集中的每一个样本的特征与注册数据集中的所有特征进行欧氏距离计算， 最终将查询数据集中的每个样本识别为注册数据集中与之欧氏距离最小的特征的标签， 输 出查询样本的身份标签， 完成识别。 9.一种计算机设备， 包括存储器和处理器， 所述存储器存储有计算机程序， 其特征在 于， 所述处理器执行所述计算机程序时实现基于分层及分块特征融合的跨视角步态识别方 法的步骤。 10.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序 被处理器执行时实现基于分层 及分块特 征融合的跨视角步态 识别方法的步骤。权　利　要　求　书 2/2 页 3 CN 114677755 A 3