(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210245783.4 (22)申请日 2022.03.14 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 申请人 中山市华 南理工大 学现代产业 技术 研究院 (72)发明人 陆璐　杨宇康　冼允廷　 (74)专利代理 机构 广州市华学知识产权代理有 限公司 4 4245 专利代理师 李君 (51)Int.Cl. G06T 7/00(2017.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于C enterNet改进的多尺度缺陷目标 检测方法及系统 (57)摘要 本发明公开了一种基于C enterNet改进的多 尺度缺陷目标检测方法， 包括以下步骤： 获取缺 陷目标图片并进行预处理； 对CenterNet网络结 构进行改进； 将预处理图片输入改进CenterNet 网络结构， 生成若干个第一特征图； 将第一特征 图进行信息叠加， 形成若干个第二特征图； 通过 限定多种目标尺度信息生成多层分支热力图以 产生类别标签， 将目标映射到对应的第二特征 图； 经过第二特征图后通过热力图生成分支产生 预测类别， 通过目标宽高及中心偏移生成分支产 生位置信息， 进而得到检测结果； 本发明把分支 网络调整为基于多尺度特征层的多输出预测， 再 通过网络输出结果还原原始预测目标框信息， 解 决了不同尺度目标预测能力受限问题。 权利要求书3页 说明书9页 附图3页 CN 114782311 A 2022.07.22 CN 114782311 A 1.一种基于 CenterNet改进的多尺度缺陷目标检测方法， 其特 征在于， 包括以下步骤： 获取缺陷目标图片， 对所述 缺陷目标图片进行 预处理， 得到预处 理图片； 对CenterNet网络结构进行改进， 得到改进CenterNet网络结构； 将所述预处 理图片输入到所述改进CenterNet网络结构， 生成若干个第一部分特 征图； 将所述若干个第一特 征图进行信息 叠加， 形成若干个第二部分特 征图； 通过限定多种目标尺度信 息生成多层 分支热力图以产生类别标签， 将目标映射到对应 的第二部分特 征图； 经过若干个第 二部分特征图后 通过热力图生成分支产生预测类别， 通过目标宽高及中 心偏移生成分支产生 位置信息， 进 而得到检测结果。 2.根据权利 要求1所述的一种基于CenterNet改进的多尺度缺陷目标检测方法， 其特征 在于， 所述 获取缺陷目标图片， 对所述缺陷目标图片进 行预处理， 得到预 处理图片， 具体为： 对缺陷目标图片尺寸统一缩放到固定尺寸后， 对缩放后图片进行归一化处理， 进而对归一 化处理后图片采用数据增强方法处理； 所述数据增强方法包括： 随机裁剪、 随机拼接、 mixup、 随机缩放、 随机水平翻转、 随机平 移、 色彩增强。 3.根据权利 要求1所述的一种基于CenterNet改进的多尺度缺陷目标检测方法， 其特征 在于， 所述 改进CenterNet网络结构， 具体为： 所述 改进CenterNet网络结构包括： 特征提取 主干网络、 特 征图分层网络、 分支预测输出头网络 。 4.根据权利 要求3所述的一种基于CenterNet改进的多尺度缺陷目标检测方法， 其特征 在于， 所述特征提取主干网络采用ResNet网络主干， 可分别使用ResNet18、 ResNet32、 ResNet50、 ResNet101、 ResNet152作为主干的提取网络， 对其剔除头一层卷积层和最后全 连 接层， 保留其剩余的卷积层， 用于分层提取 特征图； 所述特征图分层网络通过ResNet的4个layer自下而上提取4层 特征图， 并通过FPN特征 金字塔进 行自上而 下的信息叠加， 后分别接卷积核 大小为3的卷积消除混叠效应的影响， 每 层输出接入分支预测头网络； 所述分支预测头网络具体包含了两个分支： 热力图生成分支、 目标宽高及中心偏移生 成分支； 所述热力图生成分支输出层数数量为 目标的类别数， 目标宽高及中心偏移生成分 支输出层数设置为4， 包含目标的宽高值以及与中心的偏移 值； 训练数据集图片通过热力图 生成分支产生预测类别， 通过目标宽高及中心偏移生成分支产生维度信息， 且对不同特征 层的预测头网络进行多尺度分层训练的同时实现多层预测分支的参数权值共享， 而分支的 结果是独立的。 5.根据权利 要求4所述的一种基于CenterNet改进的多尺度缺陷目标检测方法， 其特征 在于， 所述将所述预 处理图片 输入到所述改进Center Net网络结构， 生 成若干个第一部 分特 征图， 具体如下： 经过ResNet网络对原图逐倍下采样4x,8x,16x,32x， 分别对应第一部分的 四层特征图。 6.根据权利 要求5所述的一种基于CenterNet改进的多尺度缺陷目标检测方法， 其特征 在于， 所述将若干个第一特征图进行信息叠加， 形成若干个第二部分特征图， 具体为： 将第 一部分特征图的最高层特征图， 经下采样32x的特征图逐倍上采样2x,4x,8x,16x， 并与第一 部分特征图对应的特 征层融合， 形成第二部分的四层特 征图。 7.根据权利 要求4所述的一种基于CenterNet改进的多尺度缺陷目标检测方法， 其特征权　利　要　求　书 1/3 页 2 CN 114782311 A 2在于， 所述 通过限定多种目标尺度信息生成多层分支热力图以产生类别标签， 具体为： 原标签是自制的缺陷数据集提供， 根据标签的面积占据原缺陷 图的大小比例范围来划 分多个尺度获得多尺度标签， 生成的多尺度标签的层次是根据目标框面积所占原图面积的 比例决定的， 相应的目标框映射特 征层的公式为： 其中FLayer表示第几个特征层； w,h表示原始目标框 的宽高， W,H表示原始图的宽高分 辨率； H_rati o(x)是一个分段函数， 具体为： 其中limin和limax是该特征层所属的目标比例范围， 根据此映射方式替代以往的根据目 标框大小或图片分辨 率取得更统一且效果更 佳的标签特 征层映射。 8.根据权利 要求1所述的一种基于CenterNet改进的多尺度缺陷目标检测方法， 其特征 在于， 所述经过若干个第二部分特征图后通过热力图生成分支产生预测类别， 通过目标宽 高及中心偏移生 成分支产生位置信息， 进而得到检测结果， 具体为： 将各个第二部 分特征图 别经过两个 分支的四层3x3卷积核组处理， 在第一分支的卷积核组后使用sigmoid函数输出 预测类别， 在第二分支的卷积核组后输出目标宽高及中心偏移。 9.一种基于CenterNet改进的多尺度缺陷目标检测系统， 其特征在于， 包括： 骨干特征 提取模块、 多尺度融合模块、 损失函数模块、 生成多尺度标签模块、 多尺度训练模块、 模型多 尺度输出模块、 多尺度解码输出模块、 图片输入 模块； 所述骨干特 征提取模块， 用于深层提取原 始图片的特 征； 所述多尺度融合模块， 用于有效融合高层的语义信息和低层的细节信息； 所述损失函数模块， 用于度量真实值和预测值的关系， 指导模型 更有效的训练； 所述生成多尺度标签模块， 用于划分多尺度标签， 为后续多尺度训练模块做准备； 所述多尺度训练模块， 用于有效利用各个尺度标签的信息， 使模型充分训练各尺度的 目标； 所述模型多尺度输出模块， 用于 输出模型在各个尺度上的抽象预测信息； 所述多尺度解码输出模块， 用于将模型在各个尺度上的抽象预测信息解码成直观的、 具体的预测目标框； 所述图片输入 模块， 用于将图片进行 预处理。 10.根据权利要求9所述的一种基于CenterNet改进 的多尺度缺陷目标检测系统， 其特 征在于， 所述 生成多尺度标签模块具体工作如下： 原标签是自制的缺陷数据集提供， 根据标签的面积占据原缺陷 图的大小比例范围来划 分多个尺度获得多尺度标签， 生成的多尺度标签的层次是根据目标框面积所占原图面积的 比例决定的， 相应的目标框映射特 征层的公式为： 其中FLayer表示第几个特征层； w,h表示原始目标框 的宽高， W,H表示原始图的宽高分 辨率； H_rati o(x)是一个分段函数， 具体为：权　利　要　求　书 2/3 页 3 CN 114782311 A 3