(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111323289.7 (22)申请日 2021.11.09 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 谷祎　王晓迪　韩树民　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 代理人 纪雯 (51)Int.Cl. G06V 10/764(2022.01) G06V 10/74(2022.01) G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 训练方法、 图像处理方法、 装置、 电子设备以 及存储介质 (57)摘要 本公开提供了一种训练方法、 图像处理方 法、 装置、 电子设备以及存储介质， 涉及人工智能 技术领域， 尤其涉及计算机视觉和深度学习技 术。 具体实现方案为： 对第一编码器和第二编码 器执行多轮训练， 直至满足预定条件； 将训练完 成的第二编码器确定为图像表征模 型； 对第一编 码器和第二编码器执行多轮训练， 包括： 利用与 当前轮对应的第一编码器处理与当前轮对应的 第一样本图像数据， 得到与当前轮对应的第一表 征向量； 利用与当前轮对应的第二编码器分别处 理与当前轮对应的第二样本图像数据和第三样 本图像数据， 得到与当前轮对应的第二表征向量 和第三表征向量； 利用第一损失函数、 第二损失 函数和第三损失函数训练与当前轮对应的第一 编码器和第二编码器 。 权利要求书5页 说明书20页 附图6页 CN 114049516 A 2022.02.15 CN 114049516 A 1.一种图像表征模型的训练方法， 包括： 对第一编码器和第二编码器执 行多轮训练， 直至满足预定条件； 以及 将训练完成的第二编码器确定为所述图像表征模型； 其中， 所述对第一编码器和第二编码器执 行多轮训练， 包括： 利用与所述当前轮对应的第 一编码器处理与所述当前轮对应的第 一样本图像数据， 得 到与所述当前轮对应的第一表征向量； 利用与所述当前轮对应的第二编码器分别处理与所述当前轮对应的第二样本图像数 据和第三样本图像数据， 得到与所述当前轮对应的第二表征向量和 第三表征向量， 其中， 所 述第二样本图像数据和所述第三样本图像数据是对所述第一样本图像数据进行数据增强 得到的； 利用第一损失函数、 第 二损失函数和第 三损失函数训练与所述当前轮对应的第 一编码 器和第二编码 器， 其中， 所述第一损失函数用于处理与所述当前轮对应的第一表征向量、 第 二表征向量和多个第四表征向量， 所述第二损失函数用于处理与所述当前轮对应的第一表 征向量、 第三表征向量和多个第 五表征向量， 所述第三损失函数用于处理与所述当前轮对 应的第二表征向量和 第三表征向量， 每个所述第四表征向量对应的样本图像数据和每个所 述第五表征向量对应的样本图像数据均 与所述第一样本图像数据的类别不同。 2.根据权利要求1所述的方法， 其中， 所述利用第一损 失函数、 第二损 失函数和第三损 失函数训练与所述当前轮对应的第一编码器和第二编码器， 包括： 基于所述第一损 失函数， 利用与所述当前轮对应的第一表征向量、 第二表征向量和多 个第四表征向量， 得到第一输出值； 基于所述第二损 失函数， 利用与所述当前轮对应的第一表征向量、 第三表征向量和多 个第五表征向量， 得到第二输出值； 基于所述第三损 失函数， 利用与所述当前轮对应的第二表征向量和第三表征向量， 得 到第三输出值； 以及 根据所述第 一输出值、 所述第 二输出值和所述第 三输出值调 整与所述当前轮对应的第 二编码器的模型参数， 得到与下一轮对应的第二编 码器的模型参数， 其中， 与所述下一轮对 应的第一编码器的模型参数是在获得与所述下一轮对应的第二编码器的模型参数的情况 下， 根据与所述下一轮对应的第二编 码器的模型参数调整与所述当前轮对应的第一编 码器 的模型参数 得到的。 3.根据权利要求2所述的方法， 其中， 所述根据所述第一输出值、 所述第二输出值和所 述第三输出值调整与所述当前轮对应的第二编 码器的模型参数， 得到与下一轮对应的第二 编码器的模型参数， 包括： 根据对所述第 一输出值、 所述第 二输出值和所述第 三输出值进行加权求和得到的结果 调整与所述当前轮对应的第二编码器的模型参数， 得到与所述下一轮对应的第二编 码器的 模型参数。 4.根据权利要求2或3所述的方法， 其中， 所述基于所述第 一损失函数， 利用与所述当前 轮对应的第一表征向量、 第二表征向量和多个第四表征向量， 得到第一输出值， 包括： 确定与所述当前轮对应的第一表征向量与第二表征向量之间的第一相似度； 确定与所述当前轮对应的多个第四表征向量中的每个第四表征向量与所述当前轮对权　利　要　求　书 1/5 页 2 CN 114049516 A 2应的第二表征向量之间的第二相似度； 以及 基于所述第一损 失函数， 利用所述第一相似度和多个所述第二相似度， 得到所述第一 输出值； 所述基于所述第二损 失函数， 利用与所述当前轮对应的第一表征向量、 第三表征向量 和多个第五表征向量， 得到第二输出值， 包括： 确定与所述当前轮对应的第一表征向量与第三表征向量之间的第三相似度； 确定与所述当前轮对应的多个第五表征向量中的每个第五表征向量与所述当前轮对 应的第三表征向量之间的第四相似度； 以及 基于所述第二损 失函数， 利用所述第三相似度和多个所述第 四相似度， 得到所述第二 输出值； 所述基于所述第三损失函数， 利用与所述当前轮对应的第二表征向量和第三表征向 量， 得到第三输出值， 包括： 确定与所述当前轮对应的第二表征向量和第三表征向量之间的第五相似度； 确定与所述当前轮对应的第二表征向量的第一范 数； 确定与所述当前轮对应的第三表征向量的第二范 数； 以及 基于所述第 三损失函数， 利用所述第五相似度、 所述第 一范数和所述第 二范数， 得到所 述第三输出值。 5.根据权利要求 4所述的方法， 其中， 根据如下公式确定所述第一损失函数： 根据如下公式确定所述第二损失函数： 根据如下公式确定所述第三损失函数： 其中， 所述k表征所述第一表征向量， 所述τ表征超参数， 所述K表征所述第四表征向量 的数目和所述第五表征向量的数目， K 是大于或等于2的整数； 其中， 所述L1表征所述第一损失函数， 所述q1表征所述第二表 征向量， 所述queuedyn1， i表 征第i个所述第四表征向量， q1·k表征所述第一表征向量k与所述第二表征向量q1之间的第 一相似度， 所述q1·queuedyn1， i表征第i个所述第四表征向量与所述第二表征向量q1之间的 第二相似度， i∈{0， 1， ……， K， K‑1}； 其中， 所述所述L2表征所述第二损失函数， 所述q2表征所述第三表征向量， 所述 queuedyn2， i表征第i个所述第五表征向量， q2·k表征所述第一表征向量k与所述第三表征向 量q2之间的第三相似度， 所述q2·queuedyn2， i表征第i个所述第五表征向量与所述第三表征 向量q2之间的第四相似度； 其中， 所述L3表征所述第三损失函数， 所述q1·q2表征所述第二表征向量q1与所述第三权　利　要　求　书 2/5 页 3 CN 114049516 A 3