(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210279053.6 (22)申请日 2022.03.21 (71)申请人 广东工业大 学 地址 510090 广东省广州市越秀区东 风东 路729号 (72)发明人 程良伦　郑侠聪　吴文昊　黄国恒　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 专利代理师 禹小明 (51)Int.Cl. G06T 7/00(2017.01) G06V 10/46(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/762(2022.01)G06V 10/74(2022.01) G06V 10/22(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种图像 瑕疵检测方法 (57)摘要 本发明公开了一种图像瑕疵检测方法， 包 括： S1： 对待检测图像进行梯度特征提取， 得到梯 度图； 将待检测图像输入卷积神经网络进行训 练， 得到特征图； S2： 将梯度图与特征图融合， 得 到融合梯度注意力机制的特征图； S2： 得到若干 个宽高比自适应的锚点框； S4： 得到各个锚点框 之间的深层关系； S5： 根据各个锚点框之间的深 层关系对锚点框进行聚类合并， 得到文字输出区 域； S6： 将文字输出区域与标准图像进行对比， 完 成待检测图像的瑕疵检测。 本发 明通过生成宽高 比自适应的锚点框， 利用图神经网络得到各个锚 点框之间的深层关系， 使锚点框能更好地聚类合 并， 实现待检测图像上的文字信息所在位置快 速、 准确定位， 方便 瑕疵检测的处 理。 权利要求书3页 说明书9页 附图2页 CN 114820445 A 2022.07.29 CN 114820445 A 1.一种图像瑕疵检测方法， 其特 征在于， 包活以下步骤： S1： 对待检测图像进行梯度特征提取， 得到梯度图； 将待检测图像输入卷积神经网络进 行训练， 得到特 征图； S2： 将梯度图与特 征图融合， 得到融合梯度注意力机制的特 征图； S3： 将融合梯度注意力机制的特征图输入卷积神经网络， 训练得到若干个宽高比自适 应的锚点框； S4： 构建图神经网络， 将若干个宽高比自适应的锚点框升维得到向量， 将向量输入图神 经网络进行 学习， 得到各个锚点框之间的深层关系； S5： 根据各个锚点框之间的深层关系对 锚点框进行聚类合并， 得到文字 输出区域； S6： 将文字 输出区域与标准图像进行对比， 完成待检测图像的瑕疵检测。 2.根据权利要求1所述的一种图像瑕疵检测方法， 其特征在于， 步骤S1中， 所述待检测 图像为纸箱包装印刷品图像。 3.根据权利要求1所述的一种图像瑕疵检测方法， 其特征在于， 步骤S1中， 对待检测图 像进行梯度特征提取时， 分别计算待检测图像的水平方向梯度值和竖直方向梯度值， 取其 中较大的一个梯度值作为 最终的梯度值； 其过程为： 待检测图像坐标为(x， y)的像素点i， 从水平方向的梯度以及竖直方向的梯 度中选取较大的一个进行 赋值， 作为像素点 i的最终梯度值gi， 其表达式如下： 其中， f(x， y)是指在图像坐标(x， y)处像素点 i的像素值。 4.根据权利要求1所述的一种图像瑕疵检测方法， 其特征在于， 步骤S1中， 所述特征图 为16维特 征图。 5.根据权利要求3所述的一种图像瑕疵检测方法， 其特 征在于， 步骤S2具体为： 对最终的梯度值进行归一化处理， 得到权重值， 再将权重值与特征图进行融合， 得到 融 合梯度注意力机制的特 征图； 其中， 融合梯度注意力机制的特 征图在第k维像素点 i处的特征值Ti,k表达式如下： 其中， N为所有像素点的集 合， ti,k为特征图中像素点 i在第k(1<k<16)维处的特 征值。 6.根据权利要求1所述的一种图像瑕疵检测方法， 其特征在于， 步骤S3中， 所述锚点框 表达式如下： B＝(x,y,h,r,cosθ,si nθ,c) 其中， x和y是锚点框的图像坐标点， h为锚点框的高度， r为锚点框的宽高比， θ为锚点框 靠近水平方向的边与水平方向所构成的夹角， c为锚点框的置信度。 7.根据权利要求1所述的一种图像瑕疵检测方法， 其特征在于， 步骤S4中， 向量输入图 神经网络进行 学习， 得到各个锚点框之间的深层关系， 其过程 为： 在向量输入图神经网络前， 对每张待检测图像构建多个局部 图， 局部图由若干个节点 构成， 每个局部图只包 含部分锚点框；权　利　要　求　书 1/3 页 2 CN 114820445 A 2计算局部图节点之间欧几里德距离的相似度ES， 其表达式为： 其中， D(p， vi)为中枢p与节点vi之间的距离， Hm和Wm分别为图像的高和 宽， Vp为中枢p所 在的局部图中的所有节点的集 合； 其中， D(p， vi)的表达式如下： 其中， xp为中枢p的横坐标， 为节点vi的横坐标， yp为中枢p的纵坐标， 为节点vi的纵 坐标； 对中枢p设定限制条件Giou， 其表达式为： 其中， ξ是设定阈值， Gp为局部图Gp， Gq为局部图Gq， 中枢p和中枢q在同一文字实例T中， Gp ∪Gq为局部图Gp和局部图Gq的并集， Gp∩Gq为局部图Gp和局部图Gq的交集。 8.根据权利要求1所述的一种图像瑕疵检测方法， 其特 征在于， 步骤S5具体过程 为： 通过图神经网络对各个锚点框之间的深层关系 进行判断， 判断各个锚点框之间的关联 度， 对各个锚点框进行分组， 筛选出高关联度的锚点框， 将高关联度的锚点框连接起来， 得 到文字预测区域， 使用NMS减少冗余， 使用BFS对连接起来的锚点框进行聚类合并， 得到文字 输出区域； 对文字预测区域设置损失函数L， 其表达式如下： 其中， b为文字预测区域， c为锚点框的置信度， l为锚点框坐标位置， g为实际的文字区 域， N为与实际的文字区域匹配的锚点框数， Lconf为文字预测区域置信度的交叉熵损失函 数， Lloc为文字预测区域的位置损失函数； 文字预测区域置信度的交叉熵损失函数Lconf， 其表达式如下： 其中， 为文字预测区域的真实标签， 正类为1， 负类为0； 文字预测区域的位置损失函数Lloc， 其表达式如下： 其中， m为文字预测区域b的位置与实际的文字区域之间的欧式距离， 其表达式如下： 9.根据权利要求1所述的一种图像瑕疵检测方法， 其特 征在于， 步骤S6的具体过程 为： 将得到的文字输出区域切割后得到若干图像块， 将若干图像块分别输入到标准图像 中， 进行对比分析， 在标准图像块上进 行滑动窗口操作， 衡量文字输出区域切割后的图像块权　利　要　求　书 2/3 页 3 CN 114820445 A 3