(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210484040.2 (22)申请日 2022.05.06 (71)申请人 中国人民大 学 地址 100872 北京市海淀区中关村大街59 号 (72)发明人 赵鑫　田长鑫　 (74)专利代理 机构 北京邦创至诚知识产权代理 事务所(普通 合伙) 11717 专利代理师 张宇锋 (51)Int.Cl. G06F 16/9535(2019.01) G06F 21/62(2013.01) G06N 20/00(2019.01) (54)发明名称 一种基于联邦学习的隐私保护跨领域推荐 系统 (57)摘要 本发明公开了一种基于联邦学习的隐私保 护跨领域推荐系统， 其包括如下步骤： S1： 单个域 内的私有更新， 即通过图迁移模块来融合用户全 局和本地偏好， 并基于域内数据用梯度下降算法 局部更新全局和本地偏好； S2： 在私 有更新后， 采 用联邦更新过程来协作学习基于多域数据的全 局用户首选项， 并通过个性化聚合使这些全局首 选项适应异构域数据； S3： 使用周期同步机制降 低通信成本。 本申请所提出的基于联邦学习的隐 私保护跨领域推荐系统从多个层面保护用户隐 私信息。 在本发明中， 每个域的原始交互数据在 本地存储在域的私有空间中， 不会上传到其他 域， 这样可以有效的降低隐私泄 露的风险。 权利要求书3页 说明书7页 附图2页 CN 115033780 A 2022.09.09 CN 115033780 A 1.一种基于联邦学习的隐私保护跨领域推荐系统， 其特 征在于， 包括如下步骤： S1： 单个域内的私有更新， 即通过图迁移模块来融合用户全局和本地偏好， 并基于域内 数据用梯度下降算法局部更新全局 和本地偏好； S2： 在私有更新后， 采用联邦更新过程来协作学习基于多域数据的全局用户首选项， 并 通过个性 化聚合使这些全局首选项适应异构域数据； S3： 使用周期同步机制降低通信成本 。 2.根据权利要求1所述的基于联邦学习的隐私保护跨领域推荐系统， 其特征在于， 步骤 S1中的所述图迁移模块具体为： 对于每一个域， 根据该领域的用户交互数据， 构建特定于域的用户 ‑项目交互图， 设置 全局和本地用户节点来建模全局和局部用户偏好， 并增加连接全局和本地用户节点的边； 其中， 用户u的全局用户节点与嵌入 相关联， 用户u的原始用户节点与嵌入eu相关联， eu和 均为实数空间内维度 为m的向量； 图传输模块可以抽象为L ‑层转换； 在l ‑th层， 首先应用 一个双向嵌入传输来在局部和全局用户偏好之间交换消息， 其具体 计算方式如下： 其中， fT(·,·|β )是迁移函数， β1和β2是在[0,1]范 围内控制传输中保留率的超参数， 表示图中用户u的邻居集合； 和 分别表示 用户u在传输前的本地和全局表示， 其中本地用户表示 在发送到l+1层之前， 将在消息 传播中进一 步更新， 其消息传播的具体操作如下： 其中， 表示图中项目i在用户项目交互图上的邻居集合， 项目表示 通过可学习性 嵌入ei∈Rm来初始化； 在图传输模块中L ‑layer变换后， 我们将所有L层产生的表示串接起 来， 得到最终的用户表示和项目表示如下 所示： 式中Concat()表示连接操作； 最终的用户表示形 式hu已经编码了全局和本地用户首选 项， 以及用户项目图上的高阶信息 。 3.根据权利要求2所述的基于联邦学习的隐私保护跨领域推荐系统， 其特征在于， 步骤 S1中基于域内数据用梯度下降算法局部更新全局 和本地偏好具体为： 给定用户和项目表示， 采用内积操作来生成分数， 以预测用户u与来自d域的项目i的交权　利　要　求　书 1/3 页 2 CN 115033780 A 2互可能性， 具体 计算方式如下： 其中 为用户u和项目i的预测得分； 然后采用贝叶斯个性化排序损失， 基于单域交互 数据更新局部和全局用户嵌入， 其定义 为： 其中， σ(·)是Sigmoid函数， λ控制L2正则化的强度， Θd是领域d的模型参数； 通过负采 样构造训练样本对， 表示成对训练数据集合； 通过这种方式， 模型基于域内数据局部学 习每个域的局部用户嵌入和域特定项嵌入。 4.根据权利要求1所述的基于联邦学习的隐私保护跨领域推荐系统， 其特征在于， 步骤 S2中在私有更新后， 采用联邦更新过程来协作学习基于多域数据的全局用户首选项具体 为： 在私有更新过程中， 每个域d为全局用户 维护嵌入 的全局用户， 该用户 使用域内 数据进行本地更新； 为了刻画更全面的用户偏好， 需要学习跨领域的知识来增强本地用户 偏好； 为此， 采用去中心化的联邦学习来基于多个域的数据协作地更新全局用户嵌入； 这些 全局用户嵌入将在多个域之 间共享； 然而， 这些用户嵌入包含了用户行为的 隐私信息， 出于 隐私考虑， 不能在域外直接共享； 在共享全局用户嵌入之前， 对全局用户嵌入应用本地差异 隐私技术； 具体地说， 对于每一个全球用户 添加强度为 λ3DP的拉普拉斯噪声， 来获得被加 密保护的嵌入 然后， 每个域d发送受保护嵌入 给其他领域， 与此同时从其他领域接受 共享嵌入 5.根据权利要求1所述的基于联邦学习的隐私保护跨领域推荐系统， 其特征在于， 步骤 S2中通过个性 化聚合使这些全局首选项适应异构域数据具体为： 在跨领域推荐场景中， 为考虑跨领域知识利用的领域适应性， 采用一种个性化的偏好 聚合策略， 为每个领域生成特定于领域的全局用户嵌入； 具体地， 基于注意力机制， 在每个 领域中执行个性化 的偏好聚合； 当域名d从其他领域接受共享嵌入 个性化聚合层采用可 学习变换矩阵W∈R2m计算注意力系数， 具体 计算方式为： 式中， g(·)为LeakyReLU激活函数， 采用softmax函数对注意力系数进行归一化； 注意 力系数αd,d′表示该领域知识对该领域d的重要性； 这些注意力系数被用作个性化联邦聚合 的权值， 以在d域 生成用户u的全局嵌入， 具体生成方式如下 所示： 其中， β3是在[0,1]范围内控制保留率的超参数， 方程的第二项自适应结合来自不同领 域的知识； 对于用户 生成的全局用户内嵌 将在下一轮训练中通过图传输模块进行私权　利　要　求　书 2/3 页 3 CN 115033780 A 3