(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210481080.1 (22)申请日 2022.05.05 (71)申请人 安徽大学 地址 230601 安徽省合肥市经济技 术开发 区九龙路1 11号 (72)发明人 许艳　尚树强　杜磊　 (74)专利代理 机构 安徽省合肥新 安专利代理有 限责任公司 34101 专利代理师 陆丽莉　何梅生 (51)Int.Cl. G06V 10/764(2022.01) G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于联邦模型蒸馏的混合隐私保护图 像分类方法 (57)摘要 本发明公开了一种基于联邦模型蒸馏的混 合隐私保护图像分类方法， 其步骤包括： 1客户端 预训练本地神经网络； 2中心服务器获取公共数 据集并随机采样， 然后下 发至客户端； 3客户端对 下发数据进行预测； 4客户端对预测结果进行范 数裁剪并随机拆 分为预测分片， 按照编号发送给 对应客户端； 5客户端聚合预测分片得到混淆预 测并上传中心服务器； 6中心服务器聚合混淆预 测并添加噪声后得到全局预测， 然后下发至客户 端； 7客户端利用全局预测蒸馏训练本地神经网 络， 然后再复习训练本地神经网络； 8客户端利用 本地神经网络进行图像分类。 本发 明基于联邦模 型蒸馏算法， 利用秘密共享思想和差分隐私技 术， 实现了隐私保护的图像分类 。 权利要求书2页 说明书7页 附图1页 CN 114821179 A 2022.07.29 CN 114821179 A 1.一种基于联邦模型蒸馏的混合隐私保护图像分类方法， 其特征是， 应用于由中心服 务器和N个客户端所组成的系统中， 并按如下步骤进行： 步骤1.第i个客户端利用本地带 标签的私有图像数据预训练本地神经网络； 步骤1.1.第i个客户端对本地带标签的私有图像数据进行预处理， 得到预处理后的私 有图像数据集记为Di＝{(xi,1,yi,1),(xi,2,yi,2),...,(xi,j,yi,j),...,(xi,J,yi,J)}， xi,j和 yi,j分别表示第i个客户端预处理后的第j个私有图像样本及其对应的类别， i＝1,2,...,N， N为客户端总数， j＝1,2,. ..,J， J为第i个客户端私有图像样本的总数； 步骤1.2.第i个客户端利用式(1)构建本地的神经网络MGi的监督损失 再使用随机 梯度下降优化方法以学习率lriL来更新所述本地神经网络MGi的权值， 并在监督损失值趋于 稳定时得到预训练后的本地神经网络 M′Gi； 式(1)中， 为符号函数， 表示第i个客户端的第j个私有图像样本xi,j是否属于类别c， 若 表示第j个私有图像样本xi,j的类别属于类别c， 若 表示第j个私有图像样 本xi,j的类别不属于类别c； 表示第i个客户端的本地神经网络MGi预测第j个私有图像样 本xi,j属于类别c的概 率； c∈[1,m ]， m为类别数； 步骤2.中心服 务器获取 无标签的公共图像数据集并随机采样， 然后下发至客户端； 步骤2.1.定义协同训练的轮数为t， 并初始化t＝1； 步骤2.2.所述中心服务器随机采样无标签的公共图像数据集， 得到第t轮公共图像数 据子集记为DP,t＝{x1,t,x2,t,...,xk,t,...,xK,t}并分别下发至N个客户端， xk,t表示第t轮协 同训练中第k个被采样的公共图像样 本， k＝1,2,...,K， K为第t轮协同训练中被采样公共图 像样本的总数； 步骤3.N个客户端对第t轮下发的公共图像数据集DP,t进行预测： 第i个客户端利用预训练后的本地神经网络M ′Gi计算第t轮下发的公共图像数据集DP,t 中各个公共图像样本的预测结果Yt,i＝{fi(x1,t),fi(x2,t),...,fi(xk,t),...,fi(xK,t)}； 其 中， fi(xk,t)表示第i个客户端计算的第t轮下发的第k个公共图像样本xk,t的预测值,k＝1, 2,...,K， K为第t轮下发 公共图像样本的总数； 步骤4.N个客户端对预测结果进行l1‑范数裁剪后随机拆分为预测分片， 然后按编号发 送给对应客户端； 步骤4.1.根据裁剪阈值C对第i个客户端第t轮的预测结果Yt,i进行l1‑范数裁剪， 得到第 t轮裁剪后的预测结果Yt,i/max(1,| |Yt,i||1/C)； 步骤4.2.第i个客户端将第t轮裁剪后的预测结果Yt,i/max(1,||Yt,i||1/C)随机拆分， 并 生成N‑1个与预测结果Yt,i尺寸相同的随机向量 并作为前N ‑1个预测分 片， 其中， 表示第i个客户端第t轮裁 剪后的预测结果， 应发送给第j个客户端； 步骤4.3.计算第i个客户端预测第t轮的预测结果Yt,i与随机向量和 的差值以权　利　要　求　书 1/2 页 2 CN 114821179 A 2获得第N个预测分片 由第t轮前N ‑1个预测分片 与 第t轮第N个预测分片 组成第t轮预测分片集 合 步骤5.所述第i个客户端接收N ‑1个其他客户端发送的第t轮预测分片并与自身的一个 预测分片进行聚合， 得到第t轮聚合后的混淆预测结果 并发送给中心服务器， 其中， 表示第i个客户端接收的第j个客户端发送的第t轮预测分片； 步骤6.中心服务器对所有第t轮混淆预测结果{Y ′t,1,Y′t,2,...,Y′t,i,...,Y′t,N}进行 聚合后添加拉普拉斯噪音Lap(C/ ε )后得到第t轮全局预测结果 并分别下发至N个客户端， 其中， ε表示隐私保护强度； 步骤7.第i个客户端利用第t轮全局预测结果 蒸馏训练所述本地神经网络M ′Gi， 然后 利用私有数据集Di对蒸馏训练后的本地神经网络 M″Gi进行复习训练； 步骤7.1.第i个客户端利用式(2)构建所述蒸馏训练后的本地神经 网络M′Gi的监督损失 再使用随机梯度下降优化方法以学习率lriL来更新所述本地神经网络M ′Gi的权值， 并 在监督损失值趋 于稳定时得到蒸馏训练后的本地神经网络 M″Gi； 式(2)中， 为符号函 数， 表示第i个客户端对第t轮下发的公共数据子集DP,t中第k个公 共样本xk,t的预测类别否属于全局预测类别c， 若 表示第k个公共样本xk,t的预测类 别属于全局预测类别c， 若 表示第k个公共样本xk,t的预测类别不属于全局预测类别 c； 表示第i个客户端蒸馏训练后的本地神经网络M ′Gi预测第k个公共样本xk,t属于全局预 测类别c的概 率； 步骤7.2.第i个客户端用式(3)构建蒸馏训练后的本地神经网络M ″Gi的监督损失 再使用随机梯度下降优化方法以学习率lriL来更新所述本地神 经网络M″Gi的权值， 并在监 督损失值趋 于稳定时得到复习训练后的本地神经网络 M″ ′Gi； 式(3)中， 为符号函数， 表示第i个客户端的第j个私有图像样本xi,j是否属于类别c， 若 表示第j个私有图像样本xi,j的类别属于类别c， 若 表示第j个私有图像样 本xi,j的类别不属于类别c； 表示第i个客户端的本地神经网络M ″Gi预测第j个私有图像样 本xi,j属于类别c的概 率； 步骤7.3.将t +1赋值给t后， 返回步骤2.2.顺序执行， 直到达到最大轮数为止， 从而得到 所述第i个客户端协同训练后的本地神经网络 步骤8.所述第i个客户端利用协同训练后的本地神经网络 对图像进行分类。权　利　要　求　书 2/2 页 3 CN 114821179 A 3