(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210281819.4 (22)申请日 2022.03.22 (71)申请人 南通大学 地址 226000 江苏省南 通市啬园路9号 (72)发明人 杨赛　杨慧　周伯俊　胡彬　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 徐激波 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/56(2022.01) G06V 10/80(2022.01) G06V 20/68(2022.01) G06K 9/62(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于多任务学习的水果图像识别方法 (57)摘要 本发明公开一种基于多任务学习的水果图 像识别方法， 首先采用对称的编码器 ‑解码器形 式的网络 结构构建识别模型， 在水果图像数据集 中随机抽取一批图像， 对每幅图像进行灰度变换 预处理， 得到图像的灰色图像输入到识别模型 中， 完成分类任务的构建， 然后利用 着色后的图 像从而完成着色任务构建； 计算图像类别输出值 与图像类别真实值的交叉熵损失函数， 计算着色 图像与原始输入图像的均方误差损失函数， 利用 上述两函数之间的加权和对网络中的参数进行 优化从而完成多任务学习； 最后利用训练好的识 别模型对水果图像进行在线测试。 本发明通过采 用编码器 ‑解码器的网络结构， 使得分类模型能 够同时提取水果图像的纹理和颜色特征， 提高水 果分类识别的正确率。 权利要求书2页 说明书4页 附图1页 CN 114677540 A 2022.06.28 CN 114677540 A 1.一种基于多任务学习的水果图像识别方法， 其特 征在于， 包括以下步骤； S1:识别模型的构建,识别模型采用对称的编码器 ‑解码器形式的网络结构， 其中编码 器是由5层卷积层和5层池化层组成的， 解码器是由5层反卷积层和5层反池化层组成的； S2:分类任务的构建， 在水果图像数据集中随机抽取一批图像， 对每幅图像进行灰度变 换预处理， 得到图像的灰色图像， 输入到识别模型中， 通过编码器对图像提取特征， 然后添 加全连接层和Softmax层得到图像的类别输出值； S3:着色任务的构建， 对于分类任务中利用编码器对图像的所提取的特征输入到识别 模型中的解码器中得到着色后的图像； S4:多任务学习， 计算图像的类别输出值与图像类别真实值之间的交叉熵损失函数， 计 算着色图像与 原始输入图像之 间的均方误差损失函数， 利用交叉熵损失函数与均方误差损 失函数之间的加权和对网络中的参数进行优化； S5:水果图像的在线测试， 将识别 模型中的解码器移除， 将在线采集的水果图像输入到 编码器以及与其相连接的全连接层和Softmax层中就得到 了水果图像的类别。 2.根据权利要求1所述的一种基于多任务学习的水果图像识别方法， 其特征在于， 所述 S1的具体步骤如下： S11： 编码器被表示为Eθ(·)， θ表示网络参数， 是由5层卷积层和5层的池 化层组成的， 每 层卷积层中卷积核的数目分别为64， 128， 25 6， 512， 512； S12： 解码 器被表示为 表示网络参数， 是由5层卷积层和5层的池化层组成的， 每 层卷积层中卷积核的数目分别为512， 512， 25 6， 128， 64。 3.根据权利要求1所述的一种基于多任务学习的水果图像识别方法， 其特征在于， 所述 S2的具体步骤如下： S21： 在水果图像数据集中随机抽取一批图像， 第i幅 图像被表示为 其中H、 W 分别表示图像的长宽尺寸， C∈3表示图像的RGB颜色空间值， 对图像的灰度预 处理为计算图 像每个像素点RGB颜色值的平均值， 则第l∈H ×W个像素点灰度值的计算公式为： 其中r,g,b表示第l个 像素点RGB颜色空间值， Il表示第l个 像素点被预处 理后的灰度值； S22： 对于图像中的每个像 素点进行S21步骤的灰度预处理， 第i幅图像转化为Ii， 将其输 入到识别模型中的编码器中提取 特征表示为 S23： 在编码器后添加全连接层和Softmac层被表示为fω(·)， 参数为ω， 并将第i幅图 像的特征Eθ(Ii)转化为图像的类别输出值 即： 4.根据权利要求1所述的一种基于多任务学习的水果图像识别方法， 其特征在于， 所述 S3的具体步骤如下： S31： 对于在水果图像数据集随机抽取的同一批图像， 利用步骤二对其提取特征后的特 征Eθ(Ii)， 将其输入到识别模型中的解码器， 得到着色后的图像 即：权　利　要　求　书 1/2 页 2 CN 114677540 A 25.根据权利要求1所述的一种基于多任务学习的水果图像识别方法， 其特征在于， 所述 S4的具体步骤如下： S41： 计算图像的类别输出值与图像 类别真实值之间的损失函数： 其中yi表示第i幅图像的类别真实值； S42： 计算着色图像与原 始输入图像之间的均方误差损失函数： S43： 计算交叉熵损失函数与 均方误差损失函数的加权和： S44： 利用交叉熵损失函数与均方误差损失函数之间的加权和对网络中的参数进行优 化对网络中的参数θ， ω和 6.根据权利要求1所述的一种基于多任务学习的水果图像识别方法， 其特征在于， 所述 S5的具体步骤如下： S51： 将识别模型中的解码器移除； S52： 将在线采集的水果图像x， 输入到编码器中提取的特 征为： z＝fω(Eθ(x))    (7)； S53： 将提取的特 征z输入到全连接层和Softmax层中得到测试图像的类别输出为： y＝Eθ(x)    (8)。权　利　要　求　书 2/2 页 3 CN 114677540 A 3