(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111381852.6 (22)申请日 2021.11.19 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 刘吉　周晨娣　马北辰　周吉文　 窦德景　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 代理人 杨静 (51)Int.Cl. G06K 9/62(2022.01) G06N 20/00(2019.01) (54)发明名称 联邦学习方法、 联邦学习装置、 电子设备以 及存储介质 (57)摘要 本公开提供了一种联邦学习方法、 联邦学习 装置、 电子设备以及存储介质， 涉人工智能技术 领域， 尤其涉及分布式数据处理和深度学习技术 领域。 具体实现方案为： 在当前学习周期中， 针对 至少一个任务中的每个任务， 基于调度策略， 根 据与任务对应的多个备选设备各自的调度信息， 确定与任务对应的目标设备集合， 其中， 调度策 略用于使得完成当前学习周期的任务的时间成 本信息和设备 公平性评估信息满足预定条件； 向 与每个任务对应的目标设备集合发送与每个任 务对应的全局模 型， 以便利用对应的目标设备集 合训练与每个任务对应的全局模 型； 响应于接收 到来自对应的目标设备集合的训练后模型， 基于 训练后模型更新对应的全局模型， 完成当前学习 周期。 权利要求书4页 说明书14页 附图5页 CN 114065864 A 2022.02.18 CN 114065864 A 1.一种联邦学习方法， 包括： 在当前学习周期中， 针对至少一个任务中的每个任务， 基于调度 策略， 根据与所述任务 对应的多个备选 设备各自的调度信息， 确定与所述任务对应的目标设备集合， 其中， 所述调 度策略用于使得完成所述当前学习周期的所述任务的时间成本信息和设备公平性评估信 息满足预定条件； 向与所述每个任务对应的目标设备集合发送与 所述每个任务对应的全局模型， 以便利 用所述对应的目标设备集 合训练与所述每 个任务对应的全局模型； 以及 响应于接收到来自对应的目标设备集合的训练后模型， 基于所述训练后模型更新对应 的全局模型， 完成所述当前 学习周期。 2.根据权利要求1所述的方法， 还 包括： 针对与所述任务对应的多个备选设备中的每个备选设备， 根据 所述备选设备的资源信 息， 确定所述备选设备 执行所述任务的时长信息； 确定所述备选设备在所述当前学习周期之前的学习周期中执行所述任务的次数， 作为 调度次数； 以及 根据所述时长信息和所述调度次数， 得到所述备选设备的调度信息 。 3.根据权利要求2所述的方法， 其中， 所述根据所述备选设备的资源信息， 确定所述备 选设备执行所述任务的时长信息， 包括： 根据所述备选设备的资源信息， 确定所述备选设备的计算指标， 其中， 所述计算指标表 征所述备选设备的计算能力； 以及 利用预定位移指数分布函数， 根据 所述计算指标和所述备选设备中存储的与 所述任务 对应的训练数据的数据量， 确定所述备选设备 执行所述任务的时长信息 。 4.根据权利要求2或3所述的方法， 其中， 与所述任务对应的时间成本信息是根据与所 述任务对应的备选设备集合的时长信息和与全部或部分其他任务对应的目标设备集合的 时长信息确定的， 所述其他任务表征所述至少一个任务中除所述任务以外的任意一个任 务； 其中， 与所述任务对应的设备公平性评估信 息是根据与 所述任务对应的备选设备集合 的调度平衡方差和与全部或部分所述其他任务对应的目标设备集合的调度平衡方差确定 的， 所述调度平衡方差是根据设备集合包括的设备 的调度次数确定的， 所述设备集合包括 所述备选设备集 合或所述目标设备集 合； 其中， 与所述任务对应的目标设备集合是在所述任务的时间成本信 息和设备公平性评 估信息满足预定条件的情况 下的备选设备集 合。 5.根据权利要求4所述的方法， 其中， 所述基于调度策略， 根据与所述任务对应的多个 备选设备 各自的调度信息， 确定与所述任务对应的目标设备集 合， 包括： 基于所述调度策略， 确定调度约束函数， 其中， 所述调度约束函数的参数项包括在所述 当前学习周期的情况下， 与所述每个任务的时间成本信息对应的时间成本项和与所述每个 任务的设备公平性评估信息对应的设备公平性评估项； 以及 利用调度算法， 根据与所述任务对应的多个备选设备各自的调度信息， 确定与所述任 务对应的目标设备集合， 其中， 所述 目标设备集合的调度信息使得所述调度约束函数 的第 一输出值满足所述预定条件。权　利　要　求　书 1/4 页 2 CN 114065864 A 26.根据权利要求5所述的方法， 其中， 所述调度算法包括至少一个第一调度算法、 至少 一个第二调度算法和第三调度算法； 其中， 所述利用调度算法， 根据与所述任务对应的多个备选设备各自的调度信 息， 确定 与所述任务对应的目标设备集 合， 包括： 利用所述至少一个第一调度算法中的每个第一调度算法处理所述多个备选设备的调 度信息， 得到与所述任务对应的第一备选 设备集合， 其中， 所述第一备选 设备集合的调 度信 息使得调度约束函数的第二输出值满足所述预定条件且所述第二输出值大于所述第一输 出值； 利用所述至少一个第二调度算法中的每个第二调度算法处理所述多个备选设备的调 度信息， 得到与所述至少一个任务中的每 个任务对应的第二备选设备集 合； 以及 利用所述第三调度算法处理至少一个所述第一备选设备集合和至少一个所述第二备 选设备集 合的调度信息， 得到与所述任务对应的目标设备集 合。 7.根据权利要求6所述的方法， 其中， 所述至少一个第一调度算法包括以下至少一项： 贝叶斯优化 算法、 强化学习算法、 遗传算法和贪心算法； 其中， 所述至少一个第二调度算法包括以下至少一项： 联邦平均算法和基于联邦学习 的启发式设备选择算法。 8.根据权利要求1～4中任一项所述的方法， 其中， 所述针对至少一个任务中的每个任 务， 基于调 度策略， 根据与所述任务对应的多个备选 设备各自的调度信息， 确定与所述任务 对应的目标设备集 合， 包括： 并行执行以下操作， 得到与所述每 个任务对应的目标设备集 合： 基于所述调度策略， 根据与所述每个任务对应的多个备选设备各自的调度信息， 得到 与所述每 个任务对应的目标设备集 合。 9.一种联邦学习装置， 包括： 第一确定模块， 用于在当前学习周期中， 针对至少一个任务中的每个任务， 基于调度 策 略， 根据与所述任务对应的多个备选设备各自的调度信息， 确定与所述任务对应的目标设 备集合， 其中， 所述调度策略用于使得完成所述当前学习周期的所述任务的时间成本信息 和设备公平性评估信息满足预定条件； 发送模块， 用于向与 所述每个任务对应的目标设备集合发送与 所述每个任务对应的全 局模型， 以便利用所述对应的目标设备集 合训练与所述每 个任务对应的全局模型； 以及 训练模块， 用于响应于接收到来自对应的目标设备集合的训练后模型， 基于所述训练 后模型更新对应的全局模型， 完成所述当前 学习周期。 10.根据权利要求9所述的装置， 还 包括： 第二确定模块， 用于针对与所述任务对应的多个备选设备中的每个备选设备， 根据所 述备选设备的资源信息， 确定所述备选设备 执行所述任务的时长信息； 第三确定模块， 用于确定所述备选设备在所述当前学习周期之前的学习周期中执行所 述任务的次数， 作为调度次数； 以及 获得模块， 用于根据所述时长信息和所述调度次数， 得到所述备选设备的调度信息 。 11.根据权利要求10所述的装置， 其中， 所述第二确定模块， 包括： 第一确定子模块， 用于根据 所述备选设备的资源信息， 确定所述备选设备的计算指标，权　利　要　求　书 2/4 页 3 CN 114065864 A 3