(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210543089.0 (22)申请日 2022.05.18 (71)申请人 西安电子科技大 学 地址 710071 陕西省西安市雁塔区太白南 路2号 (72)发明人 苗银宾　谢荣朋　李兴华　马建峰　 (74)专利代理 机构 北京市诚辉律师事务所 11430 专利代理师 成丹　耿慧敏 (51)Int.Cl. G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 20/00(2019.01) H04L 67/10(2022.01) (54)发明名称 一种用于隐私保护的联邦学习方法、 装置及 介质 (57)摘要 本发明涉及一种用于隐私保护的联邦学习 方法， 将压缩感知技术与自适应本地差分隐私技 术结合在一起， 对数据隐私进行安全保护。 利用 压缩感知减少模 型本身参数规模同时， 使得在应 用差分隐私添加噪声时， 也减少了往模型添加的 噪声量， 而添加噪声的自适应方式也能进一步减 少添加的噪声， 使得最后的总通信量比其它同时 使用差分隐私和压缩或量化的方法更低。 在数据 隐私保护方面， 根据每一层权重值变化范围的差 异性而进行自适应的数据扰动， 这可以进一步减 少总的噪声量， 还可以在不破坏数据隐私的同 时， 提高数据的可用性， 使得模型的精确性 提高。 权利要求书3页 说明书8页 附图2页 CN 115146307 A 2022.10.04 CN 115146307 A 1.一种用于隐私保护的联邦学习方法， 其特 征在于， 所述方法包括下述 步骤： 在服务器上， 在将第一模型的所有权重进行随机初始化后， 由服务器发给通过随机均 匀选择的客户端； 在客户端上， 利用客户端本地数据对第一模型进行训练， 得到第二模型， 并将第 二模型 压缩得到第三模型； 基于第三模 型每一层权重变化范围， 向每一层权重添加噪声， 在等待一 个通过随机方式确定的延迟时长后， 由客户端将带有噪声的权 重发送给服 务器； 在服务器接收到所有客户端上传的权 重之后， 更新第一模型。 2.根据权利要求1所述的方法， 其特征在于， 所述第二模型采用的训练方法包括： 随机 梯度下降法、 全量梯度下降法、 小批量梯度下降法、 Momentum梯度下降法、 NAG梯度下降法或 其它梯度下降法。 3.根据权利要求1所述的方法， 其特征在于， 所述噪声采用自适应的方法添加， 包括下 述步骤： 从l层选择一个未添加噪声的权重值w， 该层权重变化范围为[cl‑rl， cl+rl]， cl表示权重 变化范围的中心， rl表示权重变化范围的半径； 按照下式计算 概率Pr： 式中： ε为隐私预算； 根据上述 概率进行随机采样， 获得变量u的值； 如果u等于1， 则添加噪声后的权 重值为： 否则： 式中： μ为权 重值w相对cl的偏移量。 4.根据权利要求1所述的方法， 其特 征在于， 所述更新第一模型包括下述 步骤： 对每一个接收的权重， 确定该权重的结构位置， 对相同结构位置的所有权重进行平均 聚合， 得到当前第四模型， 记作yt； 基于第四模型， 采用下式降低误差， 得到误差校正模型， 记作et： 式中， ρ、 η为超参数； u0为初始动量， e0为初始误差校正； t为当前通信轮次； ut为当前迭 代中的动量； ut‑1为上一次迭代中的动量； et为当前误差校正模型； et‑1为上一次的累积误 差； 对误差校正模型 执行解压， 得到更新的第一模型； 所述累积误差为更新的第一模型对应的误差校正模型与更新的第一模型进行压缩感 知得到的模型的差值。权　利　要　求　书 1/3 页 2 CN 115146307 A 25.根据权利要求1所述的方法， 其特征在于， 所述延迟时长服从(0， Ts)均匀分布， Ts为一 个超参数， 由所有客户端在联邦学习之前协商确定 。 6.一种用于隐私保护的联邦学习装置， 包括 服务器、 客户端， 其特 征在于： 服务器， 在将第一模型的所有权重进行随机初始化后， 由服务器发给通过随机均匀选 择的客户端； 在接收到所有客户端上传的权 重之后， 更新第一模型； 客户端， 利用客户端本地数据对第 一模型进行训练， 得到第 二模型； 将第 二模型压缩得 到第三模 型； 基于第三模型每一层权重变化范围， 向每一层权重添加噪声； 在等待一个通过 随机方式确定的延迟时长后， 由客户端将带有噪声的权 重发送给服 务器。 7.根据权利要求6所述的装置， 其特征在于， 所述客户端通过自适应的方法添加噪声， 包括： 从l层选择一个未添加噪声的权重值w， 该层权重变化范围为[cl‑rl， cl+rl]， cl表示权重 变化范围的中心， rl表示权重变化范围的半径； 为变量u随机赋值， 使其取值 服从伯努利分布， 按照下式计算 概率Pr： 式中： ε为隐私预算； 根据上述 概率进行随机采样， 获得变量u的值； 如果变量u等于1， 则添加噪声后的权 重值为： 否则： 式中： μ为权 重值w相对cl的偏移量。 8.根据权利要求6所述的装置， 其特 征在于： 所述服务端对每一个接收的权重， 确定该权重的结构位置， 对相同结构位置的所有权 重进行平均聚合， 得到当前第四模型， 记作yt； 基于第四模型， 采用下式降低误差， 得到误差校正模型， 记作et： 式中， ρ、 η为超参数； u0为初始动量， e0为初始误差校正； t为当前通信轮次； ut为当前迭 代中的动量； ut‑1为上一次迭代中的动量； et为当前误差校正模型； et‑1为上一次的累积误 差； 对误差校正模型 执行解压， 得到更新的第一模型； 所述累积误差为更新的第一模型对应的误差校正模型与更新的第一模型进行压缩感 知得到的模型的差值。 9.根据权利要求6所述的装置， 其特征在于， 所述延迟时长服从(0， Ts)均匀分布， Ts为一 个超参数。 10.一种计算机可读存储介质， 其特征在于： 存储有能够被处理器加载并执行如权利要权　利　要　求　书 2/3 页 3 CN 115146307 A 3