(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210200326.3 (22)申请日 2022.03.03 (71)申请人 科大天工智能装备技 术 （天津） 有限 公司 地址 300308 天津市东 丽区华明 高新技术 产业区华丰路6号G座1号楼 (72)发明人 张超　张波　万亚东　 (74)专利代理 机构 北京高沃 律师事务所 1 1569 代理人 王爱涛 (51)Int.Cl. G06V 20/10(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01) G06V 10/774(2022.01) G06V 10/80(2022.01)G06V 10/82(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种城市井 盖破损检测方法及系统 (57)摘要 本发明涉及一种城市井盖破损检测方法及 系统， 属于图像处理领域。 该方法包括： 获取基于 VGG16的Faster ‑RCNN模型； 剔除基于VGG16的 Faster‑RCNN模型中特征提取网络部分的第一层 卷积层； 将基于VGG16的Faster ‑RCNN模型中的 VGG16替换为MobileNet网络； 在MobileNet网络 中融入注 意力机制模块， 采用井盖破损图像对改 进后的Faster ‑RCNN模型进行训练， 采用训练好 的检测模型对城市井盖的破损情况进行检测； 城 市井盖的破损情况包括完好、 缺失、 破损、 移位、 沉陷、 凸起、 井盖高差、 井周破损和井盖错乱。 本 发明可以提高城市井盖破损检测的效率， 降低检 测成本。 权利要求书3页 说明书8页 附图3页 CN 114266980 A 2022.04.01 CN 114266980 A 1.一种城市井盖破损检测方法， 其特 征在于， 包括： 获取基于VG G16的Faster ‑RCNN模型； 剔除所述基于VGG16的Faster ‑RCNN模型中特征提取网络部分的第一层 卷积层； 所述特 征提取网络 部分包括四层卷积层； 将所述基于VG G16的Faster ‑RCNN模型中的VG G16替换为Mobi leNet网络； 在所述Mobi leNet网络中 融入注意力机制模块， 得到改进后的Faster ‑RCNN模型； 采用井盖破损图像对所述改进后的Faster ‑RCNN模型进行训练， 得到训练好的检测模 型； 采用所述检测模型对城市井盖的破损 情况进行检测； 所述城市井盖的破损 情况包括完 好、 缺失、 破损、 移位、 沉陷、 凸起、 井盖高差、 井周破损和井盖错乱。 2.根据权利要求1所述的城市井盖破损检测方法， 其特征在于， 所述剔除所述基于 VGG16的Faster ‑RCNN模型中特 征提取网络 部分的第一层卷积层， 具体包括： 构建三层卷积层、 两个上采样层和两个 融合层； 第一层卷积层的输出尺寸为56 ×56， 第 二层卷积层的输出尺寸为28 ×28， 第三层卷积层的尺寸为14 ×14； 所述第一层卷积层的输 入为井盖破损图像， 所述第二层卷积层的输入为所述第一层卷积层输出 的特征图， 所述第 三层卷积层的输入为所述第二层卷积层输出的特征图； 第一上采样层用于对所述第三层卷 积层输出 的特征图进行上采样， 得到与所述第二层卷积层尺寸一样的图像； 第一融合层用 于对所述第一上采样层输出的图像和所述第二层卷积层输出的图像进 行融合， 得到第一融 合图像； 第二上采样层用于对所述第一融合图进行上采样， 得到与所述第一层卷积层尺寸 一样的图像； 第二融合层用于将所述第二上采样层输出的图像与所述第一层卷积层输出的 图像进行融合， 得到特 征融合图。 3.根据权利要求1所述的城市井盖破损检测方法， 其特征在于， 所述将所述基于VGG16 的Faster ‑RCNN模型中的VG G16替换为Mobi leNet网络， 具体包括： 获取Mobi leNet网络； 将所述Mobi leNet网络的所有Dropout层和全连接层剔除， 得到第一Mobi leNet网络； 在所述第一MobileNet网络中新增四个卷积层， 得到第二MobileNet网络； 四个卷积层 的卷积核尺寸分别为： 1 ×1、 3×3、 5×5和7×7； 将所述第二MobileNet网络后端的全池化层和softmax分类器剔除， 得到第三 MobileNet网络； 采用所述第三Mobi leNet网络替换 所述基于VG G16的Faster ‑RCNN模型中的VG G16网络。 4.根据权利要求1所述的城市井盖破损检测方法， 其特征在于， 所述在所述MobileNet 网络中融入注意力机制模块， 得到改进后的Faster ‑RCNN模型， 具体包括： 在所述MobileNet网络中所有卷积层的末端增加所述注意力机制模块， 得到改进后的 Faster‑RCNN模型； 所述注意力机制模块关注特 征通道之间的关系。 5.根据权利要求1所述的城市井盖破损检测方法， 其特征在于， 所述采用井盖破损图像 对所述改进后的Faster ‑RCNN模型进行训练， 得到训练好的检测模型， 具体包括： 获取城市井盖图像集； 对所述城市井盖图像集中的所有图像进行破损类别标注； 通过GAMMA数据增 强的方式对标注后的城市井盖图像集的图像进行增 强， 并对增 强后权　利　要　求　书 1/3 页 2 CN 114266980 A 2的城市井盖图像集进行旋转增强， 扩充数据集 规模， 得到城市井盖样本集； 采用所述城市井盖样本集对所述改进后的Faster ‑RCNN模型进行训练， 训练过程中采 用随机梯度下降法更新权 重。 6.一种城市井盖破损检测系统， 其特 征在于， 包括： Faster‑RCNN模型获取模块， 用于获取基于VG G16的Faster ‑RCNN模型； 卷积层剔除模块， 用于剔除所述基于VGG16的Faster ‑RCNN模型中特征提取网络部分的 第一层卷积层； 所述特 征提取网络 部分包括四层卷积层； 网络替换模块， 用于将 所述基于VGG16的F aster‑RCNN模型 中的VGG16替换为MobileNet 网络； 注意力机制模块融合模块， 用于在所述MobileNet网络中融入注意力机制模块， 得到改 进后的Faster ‑RCNN模型； 训练模块， 用于采用井盖破损图像对所述改进后的Faster ‑RCNN模型进行训练， 得到训 练好的检测模型； 检测模块， 用于采用所述检测模型对城市井盖的破损情况进行检测； 所述城市井盖的 破损情况包括完好、 缺失、 破损、 移位、 沉陷、 凸起、 井盖高差、 井周破损和井盖错乱。 7.根据权利要求6所述的城市井盖破损检测系统， 其特征在于， 所述卷积层剔除模块， 具体包括： 构建单元， 用于构建三层卷积层、 两个上采样层和两个 融合层； 第一层卷积层的输出尺 寸为56×56， 第二层卷积层的输出尺 寸为28×28， 第三层卷积层的尺 寸为14×14； 所述第一 层卷积层的输入为井盖破损图像， 所述第二层卷积层的输入为所述第一层卷积层输出的特 征图， 所述第三层卷积层的输入为所述第二层卷积层输出 的特征图； 第一上采样层用于对 所述第三层卷积层输出 的特征图进行上采样， 得到与所述第二层卷积层尺寸一样的图像； 第一融合层用于对所述第一上采样层输出的图像和所述第二层卷积层输出的图像进行融 合， 得到第一融合图像； 第二上采样层用于对所述第一融合图进 行上采样， 得到与所述第一 层卷积层尺寸一样的图像； 第二融合层用于将所述第二上采样层输出的图像与所述第一层 卷积层输出的图像进行融合， 得到特 征融合图。 8.根据权利要求6所述的城市井盖破损检测系统， 其特征在于， 所述网络替换模块， 具 体包括： MobileNet网络获取 单元， 用于获取Mobi leNet网络； 第一剔除单元， 用于将所述MobileNet网络的所有Dropout层和全连接层剔除， 得到第 一MobileNet网络； 新增单元， 用于在所述第一MobileNet网络中新增四个卷积层， 得到第二MobileNet网 络； 四个卷积层的卷积核尺寸分别为： 1 ×1、 3×3、 5×5和7×7； 第二剔除单元， 用于将所述第二MobileNet网络后端的全池化层和softmax分类器剔 除， 得到第三Mobi leNet网络； 替换单元， 用于采用所述第三MobileNet网络替换所述基于VGG16的Faster ‑RCNN模型 中的VGG16网络。 9.根据权利要求6所述的城市井盖破损检测系统， 其特征在于， 所述注意力 机制模块融 合模块， 具体包括：权　利　要　求　书 2/3 页 3 CN 114266980 A 3