(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111372708.6 (22)申请日 2021.11.18 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 刘吉　章红　贾俊铖　周吉文　 彭胜波　周瑞璞　窦德景　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 代理人 纪雯 (51)Int.Cl. G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 联邦学习的方法、 装置、 系统、 电子设备及存 储介质 (57)摘要 本公开提供了一种联邦学习方法、 装置、 系 统、 电子设备及存储介质， 涉及人工智 能技术领 域， 尤其涉及计算机视觉和深度学习技术领域。 具体实现方案为： 对全局模型执行多轮训练， 直 到满足训练结束条件， 得到经训练的全局模型； 以及向多个设备发布经训练的全局模 型。 所述多 轮训练中的每轮训练包括： 向所述多个 设备中的 至少一部分设备发送当前全局模 型； 接收来自所 述至少一部分设备的针对所述当前全局模型的 经训练参数； 对接收到的参数执行聚合， 以获得 当前聚合模 型； 以及基于全局共享数据集对所述 当前聚合模 型进行调整， 并将调整后的聚合模型 更新作为 新的当前全局模型， 以用于下轮训练。 权利要求书3页 说明书11页 附图8页 CN 114065863 A 2022.02.18 CN 114065863 A 1.一种用于训练全局模型的联邦学习方法， 包括： 执行多轮训练， 直到满足训练结束条件， 得到经训练的全局模型； 以及 向多个设备发布经训练的全局模型， 其中， 所述多轮训练中的每 轮训练包括： 向所述多个设备中的至少一部分 设备发送当前全局模型； 接收来自所述至少一部分 设备的针对所述当前全局模型的经训练参数； 对接收到的参数 执行聚合， 以获得当前聚合模型； 以及 基于全局共享数据集对所述当前聚合模型进行调整， 并将调 整后的聚合模型更新作为 新的当前全局模型， 以用于下轮训练。 2.根据权利要求1所述的联邦学习方法， 其中， 基于全局共享数据集对所述当前聚合模 型进行调整包括： 通过使用所述全局共享数据集对所述当前聚合模型进行训练， 来调 整所述当前聚合模 型。 3.根据权利要求2所述的联邦学习方法， 其中， 所述通过使用所述全局共享数据集对所 述当前聚合模型进行训练， 来调整所述当前聚合模型包括： 通过使用所述全局共享数据集对所述当前聚合模型进行训练， 以使调整后的聚合模型 在所述全局共享数据集上的损失函数最小， 并且使所述调整后的聚合模型接近所述当前聚 合模型。 4.根据权利要求3所述的联邦学习方法， 其中， 通过用如下损失函数来对所述当前聚合 模型进行训练， 使所述调整后的聚合模型在所述全局共享数据集上 的损失函数最小， 并且 使所述调整后的聚合模型接 近所述当前聚合模型： 其中， F0(w)是所述调整后的聚合模型w在所述全局共享数据集D0上的损失函数， f(w， x0， j， y0， j)是所述调整后的聚合模型w针对数据{x0， j， y0， j}的损失函数， wt‑表示当前轮的聚合 模型， 且 μ是正则权 重参数。 5.根据权利要求2所述的联邦学习方法， 还 包括： 动态控制使用所述全局共享数据集对所述当前聚合模型进行训练的服务器侧迭代次 数， 使得所述服务器侧迭代次数随着训练轮次的增 加而减小。 6.根据权利要求2所述的联邦学习方法， 还 包括： 动态控制所述至少一部分设备中的每个设备在每轮训练中执行迭代的设备侧迭代次 数， 使得所述设备侧迭代次数随着训练轮次的增 加而增加。 7.一种用于训练全局模型的联邦学习装置， 包括： 训练模块， 被配置为： 执行多轮训练， 直到满足训练结束条件， 得到经训练的全局模型； 以及 全局模型发布模块， 被 配置为向多个设备发布经训练的全局模型， 其中， 所述训练模块进一 步包括： 发送子模块， 被 配置为向所述多个设备中的至少一部分 设备发送当前全局模型；权　利　要　求　书 1/3 页 2 CN 114065863 A 2接收子模块， 被配置为接收来自所述至少一部分设备的针对所述当前全局模型的经训 练参数； 聚合子模块， 被 配置为对接收到的参数 执行聚合， 以获得当前聚合模型； 以及 调整子模块， 被配置为： 基于全局共享数据集对所述当前聚合模型进行调整， 并将调整 后的聚合模型 更新作为 新的当前全局模型， 以用于下轮训练。 8.根据权利要求7 所述的联邦学习装置， 其中， 所述调整子模块还被 配置为： 通过使用所述全局共享数据集对所述当前聚合模型进行训练， 来调 整所述当前聚合模 型。 9.根据权利要求8所述的联邦学习装置， 其中， 所述调整子模块还被 配置为： 通过使用所述全局共享数据集对所述当前聚合模型进行训练， 以使调整后的聚合模型 在所述全局共享数据集上的损失函数最小， 并且使所述调整后的聚合模型接近所述当前聚 合模型。 10.根据权利要求9所述的联邦学习装置， 其中， 所述调整子模块还被 配置为： 通过用如下损失函数来对所述当前聚合模型进行训练， 使所述调整后的聚合模型在所 述全局共享数据集上的损失函数最小， 并且使 所述调整后的聚合模型接近所述当前聚合模 型： 其中， F0(w)是所述调整后的聚合模型w在所述全局共享数据集D0上的损失函数， f(w， x0， j， y0， j)是所述调整后的聚合模型w针对数据{x0， j， y0， j}的损失函数， wt‑表示当前轮的聚合 模型， 且 μ是正则权 重参数。 11.根据权利要求8所述的联邦学习装置， 其中， 所述训练模块还 包括： 迭代次数控制子模块， 被配置为动态控制使用所述全局共享数据集对所述当前聚合模 型进行训练的服务器侧迭代次数， 使得所述服务器侧迭代次数随着训练轮次的增加而减 小。 12.根据权利要求8所述的联邦学习装置， 其中， 所述训练模块还 包括： 迭代次数控制子模块， 被配置为动态控制所述至少一部分设备中的每个设备在每轮训 练中执行迭代的设备侧迭代次数， 使得 所述设备侧迭代次数随着训练轮次的增 加而增加。 13.一种用于训练全局模型的联邦学习 系统， 包括： 服务器； 以及 多个设备， 与所述 服务器通信连接； 其中所述 服务器被配置为： 执行多轮训练， 直到满足训练结束条件， 得到经训练的全局模型； 以及 向多个设备发布经训练的全局模型， 其中， 所述多轮训练中的每 轮训练包括： 向所述多个设备中的至少一部分 设备发送当前全局模型； 接收来自所述至少一部分 设备的针对所述当前全局模型的经训练参数； 对接收到的参数 执行聚合， 以获得当前聚合模型； 以及权　利　要　求　书 2/3 页 3 CN 114065863 A 3