(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111257828.1 (22)申请日 2021.10.27 (65)同一申请的已公布的文献号 申请公布号 CN 113992692 A (43)申请公布日 2022.01.28 (73)专利权人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 王义兰　赵云凤　刘志成　王晓飞　 (74)专利代理 机构 济南光启专利代理事务所 (普通合伙) 37292 专利代理师 张瑜 (51)Int.Cl. H04L 67/1023(2022.01) H04L 41/14(2022.01) H04L 41/16(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (56)对比文件 CN 113037876 A,2021.0 6.25 CN 113268920 A,2021.08.17 CN 112367109 A,2021.02.12 WO 202102 2707 A1,2021.02.1 1 US 2021174257 A1,2021.0 6.10 Bo Xu等.Optimized Edge Ag gregation for Hierarc hica. 《IE EE》 .2021, 王健宗等.联邦学习算法综述. 《大 数据》 .2020, 审查员 洪娟 (54)发明名称 端边云架构和不完全信息下分层联邦学习 的方法及系统 (57)摘要 本发明公开了一种端边云架构和不完全信 息下分层联邦学习的方法及系统， 包括： 基于契 约理论构建边缘聚合器和终端设备之间、 云服务 器和边缘聚合器 之间的分层契约博弈模型； 终端 设备通过边缘聚合器下载云服务器中的电力数 据学习模型； 基于分层联邦学习算法构建模型演 化函数； 以满足个体理性、 激励兼容和 效用最大 化为目标求解三方的最优契约； 终端设备将基于 最优契约更新后的模型发送到边缘聚合器， 边缘 聚合器基于最优 契约对终端设备进行激励发放， 并将聚合后的模 型发送到云服务器， 云服务器基 于最优契约对边缘聚合器进行激励发放， 并将模 型进行再次聚合。 本发明可向终端设备和边缘聚 合器提供报酬， 实现合理公平的收益分配 。 权利要求书4页 说明书12页 附图2页 CN 113992692 B 2022.09.06 CN 113992692 B 1.一种端边云架构和不完全信息下分层联邦学习的方法， 其特 征在于， 包括如下步骤： S1， 基于契约理论构建边缘聚合器和终端设备之间、 云服务器和边缘聚合器之间的分 层契约博 弈模型； S2， 终端设备通过边 缘聚合器下 载云服务器中的电力数据学习模型； S3， 基于分层联邦学习算法在终端设备、 边 缘聚合器和云服 务器中构建模型演化 函数； S4， 以满足个体理性、 激励兼容和效用最大化为目标求解边缘聚合器的最优契约、 终端 设备的最优契约和云服 务器的最优契约； 所述步骤S4包括如下步骤： S4.1， 初始化初始步数h＝0、 i类终端设备在博弈过程中第h步的契约 边缘聚合器l 在博弈过程中第h步的契约 云服务器在博 弈过程中第h步的契约Ph， 并设定阈值 S4.2， 执行h＝h+1， 以满足个体理性、 激励兼容和效用最大化为目标获取终端设备第h 步的最优契约 边缘聚合器第h步的最优契约 根据最优契约 和最优契约 对应调 整契约 和契约 S4.3， 以效用最大化为目标获取云服务器第h步的最优契约P*， 根据最优契约P*调整契 约Ph； S4.4， 判断 如果是返回步骤S4.2， 否则输出契约 契约 契约Ph 也即终端设备的最优契约 边缘聚合器最优契约 和云服务器的最优契约P*； S5， 终端设备基于终端设备的最优契约更新本地的电力数据学习模型， 并将更新后的 电力数据学习模型发送到对应的边缘聚合器， 边缘聚合器对电力数据学习模型进行聚合， 并将聚合后的电力数据学习模型发送到 云服务器， 同时基于边缘聚合器的最优契约对终端 设备进行激励发放， 云服务器对电力数据学习模型进行再次聚合， 并基于云服务器的最优 契约对边 缘聚合器进行激励发放。 2.根据权利要求1所述的端边云架构和不完全信息下分层联邦学习的方法， 其特征在 于， 在步骤S3中， 所述模型演化 函数的演化公式为： 式中， ηt表示学习率， 表示Fi(ωi(t‑1))损失函数 的下降梯度， τe表示 云服务器聚合一次时边缘聚合器的模型更新数目， τw表示边缘聚合器聚合一次时终端设备 的模型更新数目， Si表示i类终端设备所连接的边缘聚合器μ(i)所连接的终端设备集合， κ 表示所有终端设备的类别集合， ωi(t)表示i类终端设备中的第t个模型演化函数， xi是i类 终端设备参与模型训练时所贡献 数据集的数据贡献量， 也即i类终端设备的契约。 3.根据权利要求1所述的端边云架构和不完全信息下分层联邦学习的方法， 其特征在 于， 在步骤S4.2中， 所述个体理性是指每个终端设备只有在其效益非负时才选择接受其契权　利　要　求　书 1/4 页 2 CN 113992692 B 2约， 表示为： E[f(xi， x‑i)‑Jixi]≥0； 式中， E表示期望， f(xi， x‑i)表示i类终端设备的收益， Jixi表示i类终端设备的成本， x‑i 表示属于Si\{i}的终端设备的契约， xi是i类终端设备参与模 型训练时所贡献数据集χi的数 据贡献量， 也即i类终端设备的契约， Ji表示i类终端设备参与模型训练时的单位成本； 所述i类终端设备的收益f(xi， x‑i)的计算公式为： f(xi， x‑i)＝piRμ(i)； 式中， pi表示i类终端设备的报酬分配比例， Rμ(i)表示i类终端设备所连接的边缘聚合器 μ(i)给予它所 连接的所有终端设备的报酬； 所述i类终端设备的成本Jixi也即每一轮的训练成本 的计算公式为： 式中， λe表示能耗的权重参数， Ei(xi)表示i类终端设备参与模型训练时进行一次本地 迭代的能耗， λt表示延迟的权重参数， τc表示云服务器的模型更新数目， τe表示云服务器聚 合一次时边缘聚合器的模型更新数目， τw表示边缘聚合器聚合一次时终端设备的模型更新 数目， Ti(xi)表示i类终端设备参与模 型训练时进行一次本地迭代的计算时间， CE表示i类终 端设备收集单位数据的成本 。 4.根据权利要求3所述的端边云架构和不完全信息下分层联邦学习的方法， 其特征在 于， 所述报酬分配比例pi的计算公式为： 式中， θi表示i类终端设备参与模型训练时所贡献数据集χi的数据质量， Si\{i}表示从 集合Si中去除i类终端设备， θm′表示m′类终端设备参与模型训练时所贡献数据集χm′的数据 质量， xm′表示m′类终端设备参与模型训练时所贡献数据集χm′的数据贡献量， 也即m ′类终端 设备的契约。 5.根据权利要求2所述的端边云架构和不完全信息下分层联邦学习的方法， 其特征在 于， 在步骤S4.2中， 所述激励兼容是指 每个终端设备必须选择为自己类型专门设计的契约， 表示为： E[f(xi， x‑i)‑Jixi]≥E[f(xj， x‑i)‑Jixj]； 其中， 式中， f(xj， x‑i)表示i类 终端设备选择j类 终端设备的契约作为自己契约时的收益， Jixj 表示i类终端设备选择j类终端设备的契约作为自己契约时的成本， 且j∈k， k表 示所有终端 设备类型的集合， θi表示i类终端设备参与模型训练时所贡献数据集χi的数据质量， Sl表示 边缘聚合器l所连接的终端设备集合， Sl\{i}表示从集合Si中去除i类终端设备， Rl表示边缘 聚合器l分配给它所连接的终端设备的报酬， 也即边缘聚合器l的契约， θj表示j类终端设备 参与模型训练时所 贡献数据集 χj的数据质量， xj表示j类终端设备参与模型训练时所贡献数 据集 χj的数据贡献量， 也即j类终端设备的契约。 6.根据权利要求5所述的端边云架构和不完全信息下分层联邦学习的方法， 其特征在 于， 所述最优契约 为以下问题的解：权　利　要　求　书 2/4 页 3 CN 113992692 B 3