(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210526399.1 (22)申请日 2022.05.16 (71)申请人 北京航空航天大 学 地址 100089 北京市海淀区学院路37号 (72)发明人 彭浩　高泽　王悦　刘琳　王钢　 张靖仪　冼俊宇　邹东成　 (74)专利代理 机构 成都帝鹏知识产权代理事务 所(普通合伙) 5126 5 专利代理师 李华　罗旭 (51)Int.Cl. G06F 16/36(2019.01) G06F 21/62(2013.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于分层跨域知识协同推演的工业知 识图谱补齐方法 (57)摘要 本发明公开一种基于分层跨域知识协同推 演的工业知识图谱补齐方法， 包括获取多个生产 中涉及的原始知识图谱； 将每个原始知识图谱输 入对抗性翻译网络， 从中配置相应的隐私差异化 生成性对抗网络； 利用差异隐私抗性生成结构来 对原始知识图谱统一对齐实体和关系的嵌入， 并 生成对齐实体和关系的聚合 嵌入； 将获得的已对 齐实体和关系的聚合嵌入， 输入知识协同推演网 络， 获得优化后的生产知识图谱。 本发明利用差 分隐私对抗融合的分层跨域知识协同推演技术， 能够对制造业知识 图谱进行终身学习式的推演 和对齐， 在实现知识图谱补全的同时保护原始数 据的隐私， 克服了上述主流知识图谱嵌入模型的 主要缺陷。 权利要求书4页 说明书10页 附图1页 CN 114925213 A 2022.08.19 CN 114925213 A 1.一种基于分层跨 域知识协同推演的工业知识图谱补齐方法， 其特 征在于， 包括 步骤： S10,获取多个生产中涉及的原 始知识图谱； S20,将每个原始知识图谱输入对抗性翻译网络， 从中配置相应的隐私差异化生成性对 抗网络； 利用差异隐私抗性生成结构来对原始知识图谱统一对齐实体和关系的嵌入， 并生 成对齐实体和关系的聚合嵌入； S30,将获得的已对齐实体和关系的聚合嵌入， 输入知识协同推演网络， 获得补齐后的 生产知识图谱。 2.根据权利要求1所述的一种基于分层跨域知识协同推演的工业知识图谱补齐方法， 其特征在于， 在步骤S20中， 利用对抗性训练来学习从源嵌入空间到目标嵌入空间的平移映 射， 将保护隐私的对抗性翻译网络构建为一个基于多种经典的生成性对抗网络的隐私 差异 化生成性对抗网络族。 3.根据权利要求2所述的一种基于分层跨域知识协同推演的工业知识图谱补齐方法， 其特征在于， 所述隐私差异化 生成性对抗网络族的构建过程包括 步骤： S201， 对于给定的一对具有对齐实体和关系的知识图谱(gi,gj)， 保护隐私的对抗性翻 译网络利用生成性对抗 网络结构来统一对齐实体和关系的嵌入； 其中， 生成器置于gi， 鉴别 器置于gj； S202， 训练生成器学习从gi的嵌入空间到gj的嵌入空间的线性平移映射， 将对齐 实体的 嵌入从gi转换到gj并生成高质量的虚拟样本， 同时训练鉴别 器将生成器通过映射合成的虚 拟嵌入与 gj中的真实嵌入进行正确地区分； 经过这样对抗性的训练和学习， 最终的合成嵌 入结合来自gi和gj的特征和信息进行 学习， 并在gi和gj中更改对齐实体和关系的初始嵌入； S203， 当上述步骤中的训练过程稳定后， gi中的生成器将生成与对齐的实体和关系相邻 的实体和链接关系的嵌入， 并将它们作为虚拟实体和关系传输给 gj； 当此联合结束， 下一个 新的联合尚未开始时， 生成的虚拟实体和链接关系将被删除。 4.根据权利要求1所述的一种基于分层跨域知识协同推演的工业知识图谱补齐方法， 其特征在于， 所述保护隐私的对抗性翻译网络是隐私 差异化与不同的生成性对抗网络的结 合， 包括三种隐私差异化生成性对抗网络作为保护隐私的对抗性翻译网络的内置模型， 分 别为： 差分隐私生成性对抗网络DP ‑GAN， 通过在生成性对抗网络结构训练过程中， 将设置随 机噪声添加到梯度中， 从而实现隐私差异化； 基于PATE机制的生成性对抗网PATE ‑GAN， 通过在教师输出中添加随机噪声， 保证了具 有多个教师鉴别器和一个学生鉴别器的生成性对抗网络结构中的隐私 差异化； 将学生鉴别 器的训练样本从公共数据和未 标记数据转换为噪声聚合的教师 标记数据； 差分隐私 半监督式生成性对抗网络DP ‑ACGAN， 通过在随机梯度下降过程中引入拉普拉 斯噪声来 实现隐私 差异化； 在添加噪声之前， 进 行梯度剪切； 梯度裁剪通过从两侧切断l2范 数来限制每 个循环中梯度范 数的上界。 5.根据权利要求4所述的一种基于分层跨域知识协同推演的工业知识图谱补齐方法， 其特征在于， 所述差分隐私生 成性对抗网络DP ‑GAN， 结合随机噪声与权重剪裁； 基于WGA N网 络中的瓦瑟斯 坦距离， 得到 了双人极大极小博 弈值如下：权　利　要　求　书 1/4 页 2 CN 114925213 A 2其中， W是平移映射关系矩阵， E[ ·]表示数学期望函数， 函数fw为利普希茨连续， 而fw的 利普希茨连续 性是通过权 重剪切保证的； 在双人极大极小博弈中， 生成器的目标是使生成的虚拟样本和真实样本之间的瓦瑟斯 坦距离最小化， 生成器的损失函数为： 在双人极大极小博弈中， 鉴别器的目标是使生成的虚拟样本和真实样本之间的瓦瑟斯 坦距离最大化， 鉴别器的损失函数为： 对于给定的一对具有对齐实体和关系的知识图谱(gi,gj)， 参数为θ 的生成器位于客户 端gi， 参数为β 的鉴别器位于主机gj； 客户端gi生成对齐实体Ei∩Ej和关系Ri∩Rj的集成嵌 入， 将其发送出去并使用接收到的梯度更新模型； 主机gj区分真实样本和生成的虚拟样本， 并计算生成器损失L(G)和鉴别器损失L(D)； 内置差分隐私生成性对抗网络的保护隐私的对抗 性翻译的训练过程如下： X表示gi中对齐的实体和关系的嵌入， Y表示gj中对齐的实体和关系的嵌入； 设Pi(x)表 示X表示X在gi的嵌入空间上的分布， Pj(y)表示Y表示Y在gj的嵌入空间上的分布； 然后对于 每个鉴别器迭代， 采样一批包括了客户端和主机的训练样本； 添加噪声后对于主机数据点 和客户端数据点之间的瓦瑟斯坦距离梯度进行权重剪切， 使fw满足利普希茨连续性， 然后 更新生成器参数； 当所有迭代结束时， 得到了一个隐私 差异化生成器和隐私 差异化输出， 用 于细化gi和gj中对齐实体和关系的嵌入。 6.根据权利要求4所述的一种基于分层跨域知识协同推演的工业知识图谱补齐方法， 其特征在于， 基于PATE 机制的生成性对抗网PATE ‑GAN中： 对于一对知 识图谱(gi,gj)， X表示gi中对齐的实体和关系的嵌入， Y表示gj中对齐的实体 和关系的嵌入； 客户端gi包含一个具有平移映射关系矩阵W的生成器G； 主 机gj包含多个教师 鉴别器T＝{ T1， T2， ...， T|T|}和一个学生鉴别器S； 生成器G的参数为θG， 教师鉴别器的参数 分别为 学生鉴别器的参数为θS； 生成器的损失函数定义 为： 其中， G(xm)＝Wxm(1≤m≤n)(1≤m≤n)， xm表示嵌入 向量； 教师鉴别器将训练数据划分 为与教师数量相同的|T|个不相交子集， 每个教师鉴别器在各自的数据上训练自己的模型 来区分G(X)和Y； 教师鉴别器的损失函数定义 为： 权　利　要　求　书 2/4 页 3 CN 114925213 A 3