(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210229057.3 (22)申请日 2022.03.08 (71)申请人 倪丹丹 地址 310007 浙江省杭州市西湖区浙大路 38号浙江大学玉泉校区 申请人 许彩娥　干红华 (72)发明人 倪丹丹　许彩娥　干红华　 (74)专利代理 机构 浙江传衡律师事务所 3 3387 专利代理师 叶卫强 (51)Int.Cl. G06K 9/62(2022.01) G06N 3/08(2006.01) G06N 3/04(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01)G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) (54)发明名称 一种两阶段的基于生成对抗网络的图像异 常检测方法 (57)摘要 本发明公开了一种两阶段的基于生成对抗 网络的图像异常检测方法， 该方法构建了卷积神 经网络和三条并行的多尺度卷积流组成的图像 特征提取模块用于获取输入图像的图像特征； 并 将得到的图像特征输入到带有Attention  Gate 的生成器中， 使生成器生 成与原始图像尽可能相 似的重建图像， 再将重建图像和原始图像共同输 入到鉴别器中， 得到由每一张测试图像的异常分 数所组成的异常分数向量， 将其归一化处理后通 过比较异常分数的数值大小来区分正常图像和 异常图像， 本发 明在模型的训练阶段只使用正常 图像来进行训练， 在测试阶段则使用正常和异常 图像进行测试， 可有效解决目前异常检测方法中 异常样本数量与正常样本数量高度不平衡而导 致的检测精度较低的问题。 权利要求书2页 说明书6页 附图2页 CN 114757257 A 2022.07.15 CN 114757257 A 1.一种两阶段的基于生成对抗网络的图像异常检测方法， 其特 征在于， 包括以下步骤： 步骤一： 获取正常图像与异常图像， 并将图像划分为训练集和测试集， 所述训练集中只 包含正常图像， 所述测试集中包 含正常图像和异常图像； 步骤二： 构建卷积神经网络与多尺度特征提取模块相结合的图像特征提取模块， 通过 图像特征提取模块获取训练集的图像特征和测试集的图像特征， 多尺度特征提取模块为三 条并行的多尺度卷积流； 步骤三： 使用skip ‑GANomaly这种生成对抗网络作为模型， 将其中的生成器UNet完整替 换为Attention UNet中带有A ttention Gate的生成器； 步骤四： 在训练阶段， 将步骤二中训练集得到的图像特征输入到步骤三的生成器中， 得 到重建图像， 再将重建图像和原始图像共同输入到鉴别器中， 利用损失函数来训练生成器 和鉴别器； 步骤五： 在测试阶段， 将步骤二中测试集得到的图像特征输入到步骤三的生成器中， 得 到重建图像， 再将重建图像和原始图像共同输入到鉴别器中， 得到由每一张测试图像的异 常分数所组成的异常 分数向量， 并将它 们归一化到[0,1]范围内， 以便 于后续的比较； 步骤六： 利用步骤五所得到的异常分数的数值大小来区分正常图像和异常图像， 从而 实现图像异常检测。 2.根据权利要求1所述的一种两阶段的基于生成对抗网络的图像异常检测方法， 其特 征在于， 所述 步骤二通过以下子步骤来实现： (1.1)利用卷积神经网络1， 提取 出输入图像的图像特 征； (1.2)利用1x1大小的卷积核， 对(1.1)输出的特 征进行进一 步的特征提取； (1.3)利用3x3大小的卷积核， 对(1.1)输出的特 征进行进一 步的特征提取； (1.4)利用5x5大小的卷积核， 对(1.1)输出的特 征进行进一 步的特征提取； (1.5)将(1.2)、 (1.3)、 (1.4)三个步骤的输出进行特征融合， 之后再和(1.1)的输出特 征相加； (1.6)利用卷积神经网络2， 对(1.5)得到的融合特征再 次进行提取， 得到最终的图像特 征。 3.根据权利要求1所述的一种两阶段的基于生成对抗网络的图像异常检测方法， 其特 征在于， 损失函数包括重构损失、 对抗损失以及潜在损失三类， 所述损失函数的公 式分别如 公式1、 2、 3所示， 其中， 公 式1的重构损失代表原始图像x和重建图像 之间的L1 loss， 公式2 的对抗损失代表最小化生成器的目标同时最大化鉴别器的目标， 公式3的潜在损失代表由 鉴别器最后一层卷积层提取 出的x和 所重构出的潜在表达之间的L2 loss； 其中， x代表原始图像， 代表由生成器生成的重建图像， px代表输入图像x的分布， E代 表数学期望， D代表一个用于获取鉴别器中间层分布的函数， f代表一个用于获取潜在表征 的函数。权　利　要　求　书 1/2 页 2 CN 114757257 A 24.根据权利要求1所述的一种两阶段的基于生成对抗网络的图像异常检测方法， 其特 征在于， 异常 分数计算公式如下 所示； A(x)＝ λ R(x)+(1 ‑λ )L(x) 其中R(x)代 表上述公式1， L(x)代 表上述公式3， λ代 表权重参数。权　利　要　求　书 2/2 页 3 CN 114757257 A 3