(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210146025.7 (22)申请日 2022.02.17 (71)申请人 中南大学 地址 410083 湖南省长 沙市岳麓区麓山 南 路932号 (72)发明人 谢永芳　胡伟涛　谢世文　何磊　 陈晓方　殷泽阳　 (74)专利代理 机构 长沙麓创时代 专利代理事务 所(普通合伙) 43249 专利代理师 贾庆 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/73(2017.01) G06V 10/46(2022.01) G06V 10/54(2022.01)G06V 10/80(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01N 21/88(2006.01) G01N 21/952(2006.01) (54)发明名称 一种基于 FE-YOLO的铜管表面缺陷检测方法 及装置 (57)摘要 本发明公开了一种基于FE ‑YOLO的铜管表面 缺陷检测算法及装置。 通过基于统计的K ‑means+ +聚类方法确定铜管表面缺陷数据集的先验锚 框， 并建立FE ‑YOLO的网络结构， 在骨干 特征提取 网络部分， 依据轻量化网络特点实现了模型的轻 量化， 在颈部特征融合部分， 利用改进的特征金 字塔增强了空间特征的位置相关性； 根据对惩罚 项的研究选择设计优化的边界回归框损失函数 HIoU， 加速了模型的收敛， 提高模型的精度； 最终 根据铜管表面缺陷数据集训练得到基于FE ‑YOLO 的铜管表 面缺陷检测模型， 实现对铜管表面缺陷 的高效和 高精度的检测实现了对工业表面缺陷 的端到端快速、 准确检测。 权利要求书2页 说明书11页 附图9页 CN 114638784 A 2022.06.17 CN 114638784 A 1.一种基于FE ‑YOLO的铜管表面 缺陷检测方法， 其特 征在于， 包括以下步骤： S1： 根据工业现场获取的铜管次品管件， 采集多角度的铜管管件表面缺陷图像并进行 预处理， 构建铜管表面 缺陷样本数据集； S2： 在模型训练前， 利用基于统计的K ‑means++聚类方法得到S1中的铜管表面缺 陷样本 数据集的先验 锚框； S3： 建立FE ‑YOLO网络框架， 所述FE ‑YOLO网络框架包括网络的骨干特征提取部分、 颈部 特征融合部分和检测头 部分； S4： 依据对惩罚项的选择建立FE ‑YOLO网络 框架的边界回归框损失函数HI oU； S5： 根据FE ‑YOLO网络框架、 边界回归框损失函数HIoU以及铜管表面缺 陷数据集的先验 锚框， 建立基于FE ‑YOLO的铜管表面缺陷检测模型， 并利用FE ‑YOLO算法模型对基于FE ‑YOLO 的铜管表面 缺陷检测模型进行多场景和多尺度训练； S6： 将待检测的铜管表面图像数据输入已经训练好的基于FE ‑YOLO的铜管表面缺陷检 测模型， 输出 得到铜管表面 缺陷的类别 信息和位置坐标。 2.如权利要求1所述的一种基于FE ‑YOLO的铜管表面缺陷检测方法， 其特征在于， 所述 S2中基于统计的K ‑means++方法为： 按检测层的层数将真实标签信息通过设定阈值划分为 若干区间， 对每一区间通过K ‑means++聚类方法得到对应特征层的先验框， 整合即可得到全 部先验框 。 3.如权利要求1所述的一种基于FE ‑YOLO的铜管表面缺陷检测方法， 其特征在于， 所述 S3中建立FE ‑YOLO网络 框架包括以下步骤： S3‑1： 通过特征提取网络对输入缺 陷图像的特征进行FE ‑YOLO提取， 并经过颈部特征融 合网络得到多尺度的输入缺陷图像的特征图， 按照最小尺度的输入缺陷图像特征图尺寸将 输入图像划分为若干个网格单 元； S3‑2： 判断目标物体中心所处的网格单 元， 对目标进行 预测； S3‑3： 预测后 输出特征图的最后一维的维度 为B×(C+5)， 其中B为每个 网格单元预测的 边框数， C为 缺陷类别数。 4.如权利要求1所述的一种基于FE ‑YOLO的铜管表面缺陷检测方法， 其特征在于， 所述 S3中网络的骨干特征提取部分分为第一BaseBlock模块和第二BaseBlock模块， 所述第一 BaseBlock模块用于完成下采样和 信道扩展， 所述第二BaseBlock模块用于深化网络的提取 特征， 每个BaseBlock模块的主路径经过三层不同大小的卷积核的卷积， 每个BaseBlock模 块的主路径的中间层为深度可分离卷积。 5.如权利要求1所述的一种基于FE ‑YOLO的铜管表面缺陷检测方法， 其特征在于， 所述 S3中颈部特征融合部分由密集特征金字塔网络DFPN构成， 密集特征金字塔网络DFPN用于增 强多尺度检测层的空间位置相关性以提高检测精度； 所述检测 头部分由三个yolo_head构 成， 用于将得到 输出后与真实数据标注相比较， 计算损失。 6.如权利要求1所述的一种基于FE ‑YOLO的铜管表面缺陷检测方法， 其特征在于， 所述 边界回归框损失函数HIoU的建立方法为： 根据预测框、 真实框、 预测框与真实框的最小闭包 区域及其对角线距离、 预测框与真实框的中心距离以及预测框与真实框的重叠区域的对角 线距离确定 HIoU， 基于HIoU确定FE ‑YOLO的网络损失函数， 计算方式如下： LHIoU＝1‑IoU+penalty     (1)权　利　要　求　书 1/2 页 2 CN 114638784 A 2其中， LHIoU为边界框回归损失函数， IoU 为预测框与真实框的交并比， 即两框的相交部分 的面积与两框相并部分 的面积之比， penalty为损失函数的惩罚项， r为预测 框与真实框的 重叠区域的对角线距离， d为预测框与真实框的中心点距离， c为预测框与真实框的最小闭 包区域及其对角线。 7.如权利要求1所述的一种基于FE ‑YOLO的铜管表面缺陷检测方法， 其特征在于， 所述 对基于FE ‑YOLO的铜管表面 缺陷检测模型进行多场景和多尺度训练的方法， 包括以下步骤： S7‑1： 将铜管表面缺陷数据集进行图像噪声的加噪处理， 所述图像噪声包括随机噪声、 椒盐噪声和高斯噪声； S7‑2： 将S7‑1得到的处 理后的铜管表面 缺陷数据集的图像尺寸分为若干个尺度； S7‑3： 针对不同噪声场景下， 每次迭代过程从若干个尺度中随机抽取尺度对基于FE ‑ YOLO的铜管表面 缺陷检测模型进行训练。 8.一种基于FE ‑YOLO的铜管表面 缺陷检测装置， 其特 征在于， 包括： 先验框获取模块： 用于依据基于统计的K ‑means++聚类方法， 确定铜管表面缺陷数据 集 的先验锚框； 网络结构构建模块： 用于构建FE ‑YOLO算法的网络框架， 其中包括其骨干特征提取网 络、 颈部特征融合网络和多尺度检测头； 网络模型损失函数确定模块： 用于根据对惩罚项的研究选择设计优化的边界回归框损 失函数HI oU确定了整个算法的损失函数； 铜管表面缺陷检测模型构建模块： 用于根据先验框获取模块、 网络结构构建模块和网 络模型损失函数确定模型 得到的信息， 建立基于FE ‑YOLO的铜管表面 缺陷检测模型； 铜管表面缺陷检测模型训练模块： 用于根据构建的铜管表面缺陷数据集进行模型的训 练， 并根据超参数调优， 得到高精度和高时效的铜管表面 缺陷检测模型权 重文件； 铜管表面缺陷图像采集模块： 用于对输入的铜管进行多角度采集并进行预处理， 得到 待检测缺陷图像等待检测； 铜管表面缺陷检测及显示模块： 用于将图像采集模块获取的缺陷图像输入至已训练好 的检测模型权重文件， 输出待检图像的类别信息和位置坐标， 并在显示界面将这些数据可 视化出来。权　利　要　求　书 2/2 页 3 CN 114638784 A 3