(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210270201.8 (22)申请日 2022.03.18 (71)申请人 聊城大学 地址 252000 山东省聊城市东昌府区湖南 路1号 (72)发明人 葛广英　刘羿漩　梁允泉　齐振岭　 董苗苗　 (74)专利代理 机构 青岛致嘉知识产权代理事务 所(普通合伙) 3723 6 专利代理师 李浩成 (51)Int.Cl. G06V 10/764(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06T 3/40(2006.01)G06T 7/73(2017.01) G06F 9/451(2018.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) (54)发明名称 一种基于YOL Ov4-MobileNetv3和PyQt5的智 能零售结算方法 (57)摘要 本发明属于计算机视觉与图像目标检测技 术领域， 一种基于YOLOv4 ‑MobileNetv3和PyQt5 的智能零售结算方法， 通过将YOLOv4算法与 MobileNetv3神经网络算法相结合实现商品的检 测与分类， 并设计出一个具有人机交互功能的使 用界面。 包括以下步骤： 收集大量商品图片数据； 对数据进行处理； 构建神经网络模型； 将处理后 的数据送入 搭建好的网络模型训练； 计算商品结 算金额； 显示商品购物清单； 设计界面。 本发明可 以实现快速、 准确的商品智能结算功能， 并拥有 完整简洁的界面， 使用户具有良好体验。 权利要求书3页 说明书6页 附图4页 CN 114638991 A 2022.06.17 CN 114638991 A 1.一种基于YOLOv4 ‑MobileNetv3和PyQt5的智能零售结算方法， 其特征在于， 包括基于 YOLOv4‑MobileNetv3的商品种 类识别检测方法、 商品结算金额计算方法、 商品购物清单显 示方法和基于PyQt5的整体界面的设计方法。 2.权利要求1所述的智能零售结算方法， 其特征在于， 所述基于YOLOv4 ‑MobileNetv3的 商品种类 检测方法， 包括如下步骤： 步骤A： 首先收集大量商品图片， 收集到的图像中商品种类有35类， 预处理后的图像共 7055张， 其中3621张多商品图像， 3434张单商品图像， 只对其中多商品图像进行数据增强， 所述预处理包括旋转、 滤波、 增减亮度、 添加噪声等一系列操作， 然后对每张图片进行类别 标注， 生成xml标注文件并保存为训练集； 步骤B： 确定YOLOv4算法选用的Backbone为MobileNetv3 ‑Large网络， 搭建基于 MobileNetv3的实时商品检测分类网络的基础结构； 步骤C： 构建YOLOv4和MobileNetv3相结合的神经网络模型， 该网络是一个编码器 ‑解码 器架构， 它能充分利用图像的多尺度特 征， 从而实现商品的检测 和分类； 步骤D： 用所述训练集训练搭建的神经网络模型， 训练好的网络即会输出商品识别检测 结果。 3.权利要求2所述的商品种类 检测方法， 其特 征在于， 所述 步骤A具体步骤如下： 步骤A1： 分别将原图像顺时针旋转90度、 180度并保存； 步骤A2： 将原图及旋转后的图片进行滤波、 增加亮度、 降低亮度、 添加噪声这4项操作， 使得多商品图像的数目扩大为原来的15倍； 步骤A3： 使用Labelimg可视化图像标定工具对所有图像进行标定， 生成遵循PASCAL   VOC格式的XML标注文件， 原图与标注所 得XML文件生成训练神经网络所需数据集； 步骤A4： 将所有数据集按比例分为训练集、 验证集和测试集， 并根据包含图片数据 标注 信息的xml文件生成训练模型需要的jso n文件。 4.权利要求2所述的商品种类 检测方法， 其特 征在于， 所述 步骤B的具体步骤如下： 步骤B1： 使用Pytorch框架搭建MobileNetv3网络， 它是一个以深度可分离卷积核为基 本结构的深度卷积神经网络， 每一个深度可分离卷积核都由深度卷积核和点卷积核组成。 MobileNetv3网络整体结构包括1个卷积核大小为3*3的卷积层、 15个逆残差模块、 3个卷积 核大小为3 *3的卷积层， 且该网络无全连接层； 步骤B2： 构建深度可分离卷积模块， 所述的深度可分离卷积是一个可分解卷积的操作， 包含Depthw ise卷积和Po intwise卷积两部分。 5.权利要求2所述的商品种类 检测方法， 其特 征在于， 所述 步骤C的具体步骤如下： 步骤C1： 对神经网络需要的超参数进行调优。 调整超参数α 卷积核个数的倍率， 对比0.75 和1两个值后， 最终确定将其设置为1。 将学习率下降方式设置为ExponentDecaySchedu ler， 该方法为tf内置的一个生成动态减小学习率的函数， 其公式如下： 将衰减率设为0.94。 选取预测框所需的置信度confidence设置为0.5。 非极大值抑制所 需IOU阈值 为0.3， 每张图预测框的数量 最多不超过10 0个； 步骤C2： 输入数据经过特征提取网络MobileNetv3后将得到三个不同尺寸的特征图， 大权　利　要　求　书 1/3 页 2 CN 114638991 A 2小分别为52 ×52×40， 26×26×112以及13 ×13×160； 步骤C3： 根据 提取到三个不同尺寸的特征图， 调整通道为与原DarkNet53的三个特征图 通道相同的通道数， 得到三个有效特征图。 对三个有效特征图进行卷积得到的结果一部分 用于输出该特征图对应的预测结果， 另一部分用于进行反卷积后与其他特征图进行结合， 最终得到三个有效特 征图的预测结果； 步骤C4： 将预先设置好的先验框调整到被划为S ×S个Grid Cell区域的有效特征图上， 根据YOLOv4网络预测获取与先验框中心坐标相关的回归参数tx,ty， tw和th， 计算预测的目 标中心坐标计算公式是： bx＝σ(tx)+cx by＝σ(ty)+cy 其中， tx， ty是YOLOv4网络预测的目标中心x， y坐标偏移量； cx， cy是目标中心所在网格左 上角的x， y坐标； σ 是Sigmoid激活函数， 将预测的偏移量限制在0 ‑1区间内是预测的中心点 不会超出对应范围， 这样得到先验框的位置 。 计算先验框的宽高的计算公式是： 其中， pw， ph为Anchor模板的宽高， 这样计算出先验框的宽与高， 即得到一系列先验框的 大小位置信息； 步骤C5： 将同一个目标的预测框按置信度从大至小进行排序， 并将置信度最高的预测 框分别与其 余预测框计算 IOU， 设两个 检测框A1和A 2， IOU计算公式如下： 其作用是判断预测框和真实框的重合成度， 若计算IOU结果不是最 高且大于所述IOU阈 值0.3， 则丢弃， 多次重复以上操作筛 选出最终预测框； 步骤C6： 根据得到的最终预测框的大小位置信息， 根据中心点坐标及宽高计算预测框 左上角点坐标， 从而得出预测框在输出图片中的位置， 并利用绘图函数将预测框， 预测类别 以及置信度绘制在输出图片上， 得 出最终结果。 6.权利要求2所述的商品种类检测方法， 其特征在于， 所述步骤D具体步骤如下： 训练搭 建的神经网络， 网络模型在具有多个Intel  Xeon Silver 4210R CPU和NVIDIA  Quadro  RTX4000 GPU的服务器上进行训练， 网络采用Pytorch框架搭建， 采用Python编程语言实现， 训练100个epoch， 将每个epoch训练得到的权重文件全部保存， 得到训练好的模型后， 将测 试数据送入 模型， 从而实现商品的检测及分类。 7.权利要求1所述的智能零售结算方法， 其特征在于， 所述针对采集到的图像的商 品结 算金额的计算显示方法如下： 在标注数据时将商品对应金额标注在标签中， 在预测测试数 据后， 读取经YOLOv4 ‑MobileNetv1网络预测后 得到的每个种 类标签的第3至6位， 将其从字 符型转化为浮点型， 并循环存入数组中， 然后 将最终得到的数组中所有 元素求和， 即得到所 测图像中所有 商品的结算金额， 并将结算金额和实时检测FP S一起显示在画面上。 8.权利要求1所述的智能零售结算方法， 其特征在于， 所述针对采集到的图像的商 品购 物清单显示方法如下： 在经YOLOv4 ‑MobileNetv1网络预测测试数据后， 读取预测所得每个权　利　要　求　书 2/3 页 3 CN 114638991 A 3