(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111247889.X (22)申请日 2021.10.26 (71)申请人 中国电信股份有限公司 地址 100033 北京市西城区金融大街31号 (72)发明人 周旭华　王益斌　刘天琪　杨诗友　 严梦嘉　 (74)专利代理 机构 中国贸促会专利商标事务所 有限公司 1 1038 代理人 曾琳 (51)Int.Cl. H04L 9/40(2022.01) G06N 20/00(2019.01) (54)发明名称 用于纵向联邦学习的模型更新的方法、 设 备、 系统和介质 (57)摘要 本公开涉及用 于纵向联邦学习的模型更新 的方法、 设备、 系统和介质。 由第一通信设备执行 的方法包括： 从第二通信设备接收第一中间参数 密文； 将接收到的第一中间参数密文和由第一通 信设备产生的第二中间参数密文进行聚合， 得到 聚合参数密文； 基于聚合参数密文， 得到第一通 信设备的梯度密文； 使用第一随机数对第一通信 设备的梯度密文进行盲化， 并将盲化后的第一通 信设备的梯度密文发送给第二通信设备； 使用第 一随机数对从第二通信设备接收到的盲化后的 第一通信设备的梯度进行去盲化， 以得到第一通 信设备的梯度， 从而使用该梯度对第一通信设备 的本地模型进行更新。 通过该技术方案， 能够对 本地模型进行更新而无需协调方， 进一步提高了 数据的安全性。 权利要求书4页 说明书10页 附图5页 CN 113992393 A 2022.01.28 CN 113992393 A 1.一种用于纵向联邦学习的模型更新的方法， 其中， 第一通信设备和第二通信设备构 成纵向联邦学习的学习组， 所述方法由第一 通信设备 执行， 包括： 从第二通信设备接收第一中间参数密文， 其中， 第一中间参数密文是第二通信设备使 用其公钥对基于第二通信设备的本地模型和本地训练数据得到的第一中间参数进行加密 产生的， 以及其中， 第二通信设备具有公钥和私钥对， 该公钥被第二通信设备预先发送给第 一通信设备； 将接收到的第 一中间参数密文和由第 一通信设备产生的第 二中间参数密文进行聚合， 得到聚合参数密文， 其中， 第二中间参数密文是第一通信 设备使用第二通信 设备的公钥对 基于第一 通信设备的本地模型和本地训练数据得到的第二中间参数进行加密产生的； 基于聚合 参数密文， 得到第一 通信设备的梯度密文； 使用第一随机数对第 一通信设备的梯度密文进行盲化， 并将盲化后的第 一通信设备的 梯度密文发送给第二通信设备， 以使第二通信设备使用其私钥对盲化后的第一通信设备的 梯度密文 进行解密， 从而得到盲化后的第一 通信设备的梯度； 使用第一随机数对从第二通信设备接收到的盲化后的第一通信设备的梯度进行去盲 化， 以得到第一 通信设备的梯度， 从而 使用该梯度对第一 通信设备的本地模型进行 更新。 2.根据权利要求1所述的方法， 其中， 在第一通信设备得到聚合参数密文之后， 所述方 法进一步包括： 使用第二随机数对聚合参数密文进行盲化， 并将盲化后的聚合参数密文发送给第 二通 信设备， 以使第二通信设备基于第二通信设备的本地训练数据和盲化后的聚合参数密文得 到盲化后的第二 通信设备的部分梯度因子密文； 使用第二随机数对从第二通信设备接收到的盲化后的第二通信设备的部分梯度因子 密文进行去盲化以得到第二通信设备的部 分梯度因子密 文， 并将第二通信设备的部 分梯度 因子密文相加以得到第二 通信设备的部分梯度密文； 将第二通信设备的部分梯度密文发送给第 二通信设备， 以使第 二通信设备使用其私钥 对第二通信设备的部分梯度密文进行解密， 并根据解密得到的第二通信设备的部分梯度计 算第二通信设备的梯度， 从而基于该梯度对第二 通信设备的本地模型进行 更新。 3.根据权利要求1或2所述的方法， 进一 步包括： 基于由第一通信设备产生的第一损失函数值密文和从第二通信设备接收的第二损失 函数值密文， 计算学习组的损失函数值密 文， 其中， 第一损失函数值密 文是第一通信设备使 用第二通信 设备的公钥对基于第一通信设备的本地模型和本地训练数据得到的第一损失 函数值进 行加密产生的， 第二损失函数值密 文是第二通信设备使用其公钥对基于第二通信 设备的本地模型和本地训练数据得到的第二损失函数值进行加密产生的； 使用第三随机数对学习组的损失函数值密文进行盲化， 并将盲化后的学习组 的损失函 数值密文发送给第二通信设备， 以使第二通信设备使用其私钥对盲化后的学习组的损失函 数值密文 进行解密， 从而得到盲化后的学习组的损失函数值； 从第二通信设备接收另一盲化后的学习组 的损失函数值密文， 所述另一盲化后的学习 组的损失函数值密文是第二通信设备使用第一通信设备的公钥对盲化后的学习组的损失 函数值进行加密产生的， 其中， 第一通信 设备具有与第二通信设备 的公钥和私钥对不同的 公钥和私钥对， 第一 通信设备的公钥被预 先发送给第二 通信设备；权　利　要　求　书 1/4 页 2 CN 113992393 A 2使用第一通信设备的私钥对所述另一盲化后的学习组的损失函数值密文进行解密， 以 得到盲化后的学习组的损失函数值， 并使用第三随机数对盲化后的学习组的损失函数值进 行去盲化以得到学习组的损失函数值； 根据学习组的损失函数值确定模型训练是否收敛， 并将指示模型训练是否收敛的标志 发送给第二 通信设备。 4.根据权利要求3所述的方法， 其中， 当所述标志指示模型训练没有收敛时， 重新开始 执行接收第一中间参数密 文的步骤， 直到根据新得到的学习组的损失函数值再次确定模型 训练是否收敛。 5.根据权利要求3所述的方法， 其中， 第一随机数、 第二随机数和第三随机数中的至少 一个是通过 预定长度的随机比特产生的。 6.根据权利要求1或2所述的方法， 其中， 所述使用第一随机数对从第二通信设备接收 到的盲化后的第一 通信设备的梯度进行去 盲化， 以得到第一 通信设备的梯度包括： 从第二通信设备接收另一盲化后的第 一通信设备的梯度密文， 所述另一盲化后的第 一 通信设备的梯度密文是第二通信设备使用第一通信设备的公钥对盲化后的第一通信设备 的梯度进行加密产生的， 其中， 第一通信 设备具有与第二通信设备 的公钥和私钥对不同的 公钥和私钥对， 第一 通信设备的公钥被预 先发送给第二 通信设备； 使用第一通信设备的私钥对所述另一盲化后的第 一通信设备的梯度密文进行解密， 以 得到盲化后的第一通信设备的梯度， 并使用第一随机数对盲化后的第一通信设备的梯度进 行去盲化， 以得到第一 通信设备的梯度。 7.一种用于纵向联邦学习的模型更新的方法， 其中， 第一通信设备和第二通信设备构 成纵向联邦学习的学习组， 所述方法由第二 通信设备 执行， 包括： 向第一通信设备发送第 一中间参数密文， 以使第 一通信设备将接收到的第 一中间参数 密文和第二中间参数密文进行聚合来得到聚合参数密文， 其中， 第一中间参数密文是第二 通信设备使用其公钥对基于第二通信设备的本地模型和本地训练数据得到的第一中间参 数进行加密产生的， 其中， 第二通信设备具有公钥和私钥对， 该公钥被第二通信设备预先发 送给第一通信 设备， 以及其中， 第二中间参数密文是第一通信设备使用第二通信 设备的公 钥对基于第一 通信设备的本地模型和本地训练数据得到的第二中间参数进行加密产生的； 从第一通信设备接收盲化后的第一通信设备的梯度密文， 其中， 盲化后的第一通信设 备的梯度密文是第一通信设备使用第一随机数对第一通信设备的梯度密文进行盲化得到 的， 第一通信设备的梯度密文是第一 通信设备基于聚合 参数密文得到的； 使用第二通信设备的私钥对盲化后的第 一通信设备的梯度密文进行解密， 以得到盲化 后的第一 通信设备的梯度； 将盲化后的第 一通信设备的梯度发送给第 一通信设备， 以使第 一通信设备使用第 一随 机数对盲化后的第一通信 设备的梯度进行去盲化， 从而得到第一通信 设备的梯度， 以便使 用该梯度对第一 通信设备的本地模型进行 更新。 8.根据权利要求7 所述的方法， 进一 步包括： 从第一通信设备接收盲化后的聚合参数密文， 其中， 盲化后的聚合参数密文是第一通 信设备使用第二随机数对聚合 参数密文 进行盲化得到的； 基于第二通信设备的本地训练数据和盲化后的聚合参数密文得到盲化后的第二通信权　利　要　求　书 2/4 页 3 CN 113992393 A 3