(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221028246 6.X (22)申请日 2022.03.22 (71)申请人 江苏大学 地址 212013 江苏省镇江市京口区学府路 301号江苏 大学 申请人 镇江昭远智能科技有限公司 　 南京昭视智能科技有限公司 (72)发明人 成科扬　吴彬　 (51)Int.Cl. G06V 40/10(2022.01) G06V 40/20(2022.01) G06N 3/04(2006.01) G06K 9/62(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01)G06V 10/764(2022.01) G06V 10/25(2022.01) (54)发明名称 一种基于卷积生成对抗网络的姿态修正行 人再识别方法 (57)摘要 本发明公开了一种基于卷积生成对抗网络 的姿态修正行人再识别方法。 首先对Duke ‑MTMC 数据集进行随机擦除和均值填充， 用于训练卷积 生成对抗网络模型。 使用DeepLabV3对遮挡的行 人数据集进行自动裁剪， 将可见度得分较低的区 域进行擦除， 并且使用训练好的卷积生成对抗网 络模型进行生成， 保证了行人的体态完整性。 再 使用Resnet50和姿态估计分别提取全局特征和 姿态局部 特征， 为了修正卷积生辰对抗网络生成 完整图像所产生的噪声， 将全局特征与局部特征 相融合。 分别使用两个损失函数针对全局特征分 支和融合特征分支进行约束， 再使用Adam优化器 进行梯度下降， 更新网络权重。 本发明公开的行 人再识别方法在行人被遮挡的情况下有着较高 的识别精度。 权利要求书2页 说明书5页 附图2页 CN 114639122 A 2022.06.17 CN 114639122 A 1.一种基于卷积生成对抗网络的姿态修正行人再识别方法， 其特征在于， 包括如下步 骤： 步骤1.1： 准备数据集， 对Duke ‑MTMC进行随机擦除， 并且将擦除部分用原图像均值填 充。 步骤1.2： 使用步骤1.1准备好的数据集进行训练， 并且保存 模型参数。 步骤1.3： 对 遮挡的行 人图像进行自动裁 剪和均值 填充。 步骤1.4： 使用卷积生成对抗网络对步骤1.3处理后的图像生成， 并且进行全局特征和 姿态局部特 征的提取。 步骤1.5： 特 征融合， 反向传播计算梯度更新网络 权重。 步骤1.6： 使用训练好的遮挡行 人再识别模型对 遮挡行人图像进行 预测。 2.根据权利要求1所述的一种基于卷积生成对抗网络的姿态修正行人再识别方法， 其 特征在于， 所述 步骤1.1中随机擦除方法： 步骤2.1： 对于图像I， 假设其随机擦除的概率为Pe， 而它保持不变的概率为1 ‑Pe， 在图像 中随机选一个大小为(We,He)的区域Ie。 步骤2.2： 假设图像I和区域Ie的面积为S＝W×H和Se＝We×He， 将 作为擦除矩 形区 域的面积比。 步骤2.3： 为了确定一个唯一的区域， 随机初 始化一个点P＝(xe,ye)， 当点满足条件xe+We <W和ye+He<H时， 则我们设置区域 Ie＝(xe,ye,xe+We,ye+He)作为候选矩形擦除区域。 3.根据权利要求1所述的基于卷积生成对抗网络的姿态修正行人再识别方法， 其特征 在于， 所述步骤1.2的实现是使用卷积生成对抗网络训练步骤1.1预处理的数据集， 具体方 法如下： 步骤3.1： 固定生成器G， 优化判别器D， 使得D的判别准确率 最大化。 步骤3.2： 固定判别器D， 优化 生成器G， 使得D的判别准确率 最小化。 步骤3.3： 当且仅当生成器生成的图像类似于真实图像时达到全局最优解。 要使的生成 器生成的图像类似于真实图像即使得卷积生成对抗网络的损失函数最小化， 该网络的损失 函数如下 所示： 最小化损失函数， 使得网络 达到最优解。 4.根据权利要求1所述的一种基于卷积生成对抗网络的姿态修正行人再识别方法， 其 特征在于， 所述 步骤1.3中， 遮挡行 人图像自动裁 剪方式如下： 步骤4.1： 通过DeepL abV3网络对图像中的每个像素进行分类， 构建语义概率图。 网络分 类方法如下： 其中， G表示输入到网络中的图像张量， Ri表示第i个区域， P(Ri|g)表示像素g属于Ri的 概率。 W为网络学习到的权 重， p是人体区域数量(默认为 4)。权　利　要　求　书 1/2 页 2 CN 114639122 A 2步骤4.2： 当图像有遮挡时， 相应 区域的值P(Ri|g)会变低， 通过计算可见度S， 来判断该 区域是否有遮挡， S计算方法如下： 5.根据权利要求1所述的一种基于卷积生成对抗网络的姿态修正行人再识别方法， 其 特征在于， 所述步骤1.4中， 使用Resnet50提取人体全局特征， 此外， 提取姿态局部特征具体 实现过程如下： 步骤5.1： 姿态估计将在行人图像中提取N个关键点， N默认为18， 姿态估计将预测其坐 标和置信度得分， 并且设置阈值γ来保留置信度高的关键点。 关键点 坐标取值公式如下： 其中， LMj表示第j个关键 点， (cxj,cyj)表示第j个关键 点的坐标， 表示置信度得分， γ为置信度阈值。 步骤5.2： 使用两个损失函数来分别约束主干网络中的全局特征和局部特征， 最终该模 型的损失函数为： Loss＝ λLglobal+(1‑λ )Lpose 其中， λ为平衡全局 特征分支和姿态估计构建局部特征分支的系数， Lglobal为Resnet50 构建的全局特 征交叉熵损失， Lpose为姿态估计构建的局部特 征交叉熵损失。权　利　要　求　书 2/2 页 3 CN 114639122 A 3