(19)国家知识产权局
(12)发明 专利申请
(10)申请公布号
(43)申请公布日
(21)申请 号 202210279053.6
(22)申请日 2022.03.21
(71)申请人 广东工业大 学
地址 510090 广东省广州市越秀区东 风东
路729号
(72)发明人 程良伦 郑侠聪 吴文昊 黄国恒
(74)专利代理 机构 广州粤高专利商标代理有限
公司 44102
专利代理师 禹小明
(51)Int.Cl.
G06T 7/00(2017.01)
G06V 10/46(2022.01)
G06V 10/80(2022.01)
G06V 10/82(2022.01)
G06V 10/762(2022.01)G06V 10/74(2022.01)
G06V 10/22(2022.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
一种图像 瑕疵检测方法
(57)摘要
本发明公开了一种图像瑕疵检测方法, 包
括: S1: 对待检测图像进行梯度特征提取, 得到梯
度图; 将待检测图像输入卷积神经网络进行训
练, 得到特征图; S2: 将梯度图与特征图融合, 得
到融合梯度注意力机制的特征图; S2: 得到若干
个宽高比自适应的锚点框; S4: 得到各个锚点框
之间的深层关系; S5: 根据各个锚点框之间的深
层关系对锚点框进行聚类合并, 得到文字输出区
域; S6: 将文字输出区域与标准图像进行对比, 完
成待检测图像的瑕疵检测。 本发 明通过生成宽高
比自适应的锚点框, 利用图神经网络得到各个锚
点框之间的深层关系, 使锚点框能更好地聚类合
并, 实现待检测图像上的文字信息所在位置快
速、 准确定位, 方便 瑕疵检测的处 理。
权利要求书3页 说明书9页 附图2页
CN 114820445 A
2022.07.29
CN 114820445 A
1.一种图像瑕疵检测方法, 其特 征在于, 包活以下步骤:
S1: 对待检测图像进行梯度特征提取, 得到梯度图; 将待检测图像输入卷积神经网络进
行训练, 得到特 征图;
S2: 将梯度图与特 征图融合, 得到融合梯度注意力机制的特 征图;
S3: 将融合梯度注意力机制的特征图输入卷积神经网络, 训练得到若干个宽高比自适
应的锚点框;
S4: 构建图神经网络, 将若干个宽高比自适应的锚点框升维得到向量, 将向量输入图神
经网络进行 学习, 得到各个锚点框之间的深层关系;
S5: 根据各个锚点框之间的深层关系对 锚点框进行聚类合并, 得到文字 输出区域;
S6: 将文字 输出区域与标准图像进行对比, 完成待检测图像的瑕疵检测。
2.根据权利要求1所述的一种图像瑕疵检测方法, 其特征在于, 步骤S1中, 所述待检测
图像为纸箱包装印刷品图像。
3.根据权利要求1所述的一种图像瑕疵检测方法, 其特征在于, 步骤S1中, 对待检测图
像进行梯度特征提取时, 分别计算待检测图像的水平方向梯度值和竖直方向梯度值, 取其
中较大的一个梯度值作为 最终的梯度值;
其过程为: 待检测图像坐标为(x, y)的像素点i, 从水平方向的梯度以及竖直方向的梯
度中选取较大的一个进行 赋值, 作为像素点 i的最终梯度值gi, 其表达式如下:
其中, f(x, y)是指在图像坐标(x, y)处像素点 i的像素值。
4.根据权利要求1所述的一种图像瑕疵检测方法, 其特征在于, 步骤S1中, 所述特征图
为16维特 征图。
5.根据权利要求3所述的一种图像瑕疵检测方法, 其特 征在于, 步骤S2具体为:
对最终的梯度值进行归一化处理, 得到权重值, 再将权重值与特征图进行融合, 得到 融
合梯度注意力机制的特 征图;
其中, 融合梯度注意力机制的特 征图在第k维像素点 i处的特征值Ti,k表达式如下:
其中, N为所有像素点的集 合, ti,k为特征图中像素点 i在第k(1<k<16)维处的特 征值。
6.根据权利要求1所述的一种图像瑕疵检测方法, 其特征在于, 步骤S3中, 所述锚点框
表达式如下:
B=(x,y,h,r,cosθ,si nθ,c)
其中, x和y是锚点框的图像坐标点, h为锚点框的高度, r为锚点框的宽高比, θ为锚点框
靠近水平方向的边与水平方向所构成的夹角, c为锚点框的置信度。
7.根据权利要求1所述的一种图像瑕疵检测方法, 其特征在于, 步骤S4中, 向量输入图
神经网络进行 学习, 得到各个锚点框之间的深层关系, 其过程 为:
在向量输入图神经网络前, 对每张待检测图像构建多个局部 图, 局部图由若干个节点
构成, 每个局部图只包 含部分锚点框;权 利 要 求 书 1/3 页
2
CN 114820445 A
2计算局部图节点之间欧几里德距离的相似度ES, 其表达式为:
其中, D(p, vi)为中枢p与节点vi之间的距离, Hm和Wm分别为图像的高和 宽, Vp为中枢p所
在的局部图中的所有节点的集 合;
其中, D(p, vi)的表达式如下:
其中, xp为中枢p的横坐标,
为节点vi的横坐标, yp为中枢p的纵坐标,
为节点vi的纵
坐标;
对中枢p设定限制条件Giou, 其表达式为:
其中, ξ是设定阈值, Gp为局部图Gp, Gq为局部图Gq, 中枢p和中枢q在同一文字实例T中, Gp
∪Gq为局部图Gp和局部图Gq的并集, Gp∩Gq为局部图Gp和局部图Gq的交集。
8.根据权利要求1所述的一种图像瑕疵检测方法, 其特 征在于, 步骤S5具体过程 为:
通过图神经网络对各个锚点框之间的深层关系 进行判断, 判断各个锚点框之间的关联
度, 对各个锚点框进行分组, 筛选出高关联度的锚点框, 将高关联度的锚点框连接起来, 得
到文字预测区域, 使用NMS减少冗余, 使用BFS对连接起来的锚点框进行聚类合并, 得到文字
输出区域;
对文字预测区域设置损失函数L, 其表达式如下:
其中, b为文字预测区域, c为锚点框的置信度, l为锚点框坐标位置, g为实际的文字区
域, N为与实际的文字区域匹配的锚点框数, Lconf为文字预测区域置信度的交叉熵损失函
数, Lloc为文字预测区域的位置损失函数;
文字预测区域置信度的交叉熵损失函数Lconf, 其表达式如下:
其中,
为文字预测区域的真实标签, 正类为1, 负类为0;
文字预测区域的位置损失函数Lloc, 其表达式如下:
其中, m为文字预测区域b的位置与实际的文字区域之间的欧式距离, 其表达式如下:
9.根据权利要求1所述的一种图像瑕疵检测方法, 其特 征在于, 步骤S6的具体过程 为:
将得到的文字输出区域切割后得到若干图像块, 将若干图像块分别输入到标准图像
中, 进行对比分析, 在标准图像块上进 行滑动窗口操作, 衡量文字输出区域切割后的图像块权 利 要 求 书 2/3 页
3
CN 114820445 A
3
专利 一种图像瑕疵检测方法
文档预览
中文文档
15 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
温馨提示:本文档共15页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
本文档由 人生无常 于 2024-03-18 01:15:27上传分享