(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210528896.5 (22)申请日 2022.05.16 (71)申请人 北京鹰瞳科技发展股份有限公司 地址 100081 北京市海淀区北理工国防科 技园2号楼4层21室 (72)发明人 刘从新　和超　 (74)专利代理 机构 北京维昊知识产权代理事务 所(普通合伙) 11804 专利代理师 陈姗姗 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06F 21/60(2013.01) G06F 21/62(2013.01) (54)发明名称 神经网络的训练方法、 推理方法及相关产品 (57)摘要 本申请公开了一种由计算机实施的神经网 络的训练方法、 推理方法、 计算装置和计算机可 读存储介质。 该神经网络用于对 经同态加密的密 文数据进行推理。 训练方法包括： 获取训练数据； 利用训练数据对神经网络进行训练， 其中神经网 络中激活层的激活函数为一元二次多项式， 该多 项式至少包括二次项和一次项， 并且激活函数在 选定的输入区间内具有单调增、 梯度非负的特 性； 以及基于所述训练确定与激活层关联的参 数， 以供推理使用。 本申请的方案提供了同态加 密友好的通用的神经网络的激活层方案， 其通过 提供多项式形式的激活函数， 可以适应同态加密 的运算特性， 从而方便将任意神经网络迁移到同 态加密下运行。 权利要求书2页 说明书12页 附图4页 CN 114626511 A 2022.06.14 CN 114626511 A 1.一种由计算机实施的神经网络的训练方法， 所述神经网络用于对经同态加密的密文 数据进行推理， 其特 征在于， 所述训练方法包括： 获取训练数据； 利用所述训练数据对所述神经网络进行训练， 其中所述神经网络 中激活层的激活函数 为一元二次多项式， 所述多项式至少包括二次项和一次项， 并且所述激活函数在选定的输 入区间内具有单调增、 梯度非负的特性； 以及 基于所述训练确定与所述激活层关联的参数， 以供 所述推理使用。 2.根据权利要求1所述的训练方法， 其中利用所述训练数据对所述神经网络进行训练 包括： 在执行所述激活函数之前， 对基于所述训练数据获得的所述激活层的输入数据进行第 一尺度缩放， 使得第一尺度缩放后的所述输入数据的数值 落入所述激活函数的输入区间； 对所述第一尺度缩放后的输入数据执 行所述激活函数以获得输出 数据； 以及 对所述输出数据进行第 二尺度缩放， 其中所述第 二尺度缩放是所述第 一尺度缩放的反 向操作。 3.根据权利要求2所述的训练方法， 其中所述第一尺度缩放和所述第二尺度缩放均为 按照数据的通道， 对各通道的数据分别进行相应的缩放。 4.根据权利要求3所述的训练方法， 其中对基于所述训练数据获得的所述激活层的输 入数据进行第一尺度缩放包括， 针对所述输入数据的每 个通道： 确定所述 通道的输入值的取值范围； 根据所述取值范围及所述激活函数的输入区间， 确定所述 通道的缩放因子； 以及 基于所述缩放因子， 对所述 通道的输入值进行缩放。 5.根据权利要求 4所述的训练方法， 其中确定所述 通道的输入值的取值范围包括： 针对当前批次的训练数据， 统计所述 通道的当前批次取值范围； 以及 利用所述当前批次取值范围对在上一批次的训练中确定的所述取值范围进行更新， 以 确定在当前批次的训练中的取值范围。 6.根据权利要求5所述的训练方法， 其中基于所述训练确定与所述激活层关联的参数 包括： 将在最后 一批次的训练中确定的取值范围作为最终的取值范围， 以供在所述推理中使 用。 7.根据权利要求4所述的训练方法， 其中所述通道的取值范围使用所述通道中的输入 值分布的最大幅度S表征， 并按如下 方式统计： 其中 表示求绝对值， 为一个通道中的输入值。 8.根据权利 要求7所述的训练方法， 其中所述激活函数表示为： ， 并且 所述激活函数的输入区间为[ ‑1/2, 1/2]。 9.根据权利要求8所述的训练方法， 其中按如下公式进行所述第 一尺度缩放、 所述激活 函数和所述第二尺度缩放：权　利　要　求　书 1/2 页 2 CN 114626511 A 2。 10.根据权利要求9所述的训练方法， 其中利用所述训练数据对所述神经网络进行训练 还包括： 对所述第二尺度缩放后的输出数据附加执行第 三尺度缩放， 所述第 三尺度缩放包括 能 够在所述训练中学习的附加缩放系数和/或附加偏移； 并且 基于所述训练确定与所述激活层关联的参数还包括： 确定所述附加缩放系数和/或附 加偏移。 11.根据权利要求10所述的训练方法， 其中所述第三尺度缩放和所述第二尺度缩放按 如下公式 融合执行： 其中 是所述附加缩放系数， 是所述附加偏移。 12.根据权利要求2 ‑11任一所述的训练方法， 其中： 所述第一尺度缩放融合在所述神经网络中与所述激活层前向相邻的线性层中执行； 和/或 所述第二尺度缩放融合在所述神经网络中与所述激活层后向相邻的线性层中执 行。 13.一种由计算机实施的神经网络的推理方法， 所述神经网络用于对经同态加密的密 文数据进行推理， 其特 征在于， 所述推理方法包括： 获取经同态加密的密文数据； 以及 利用所述神经网络对所述密文数据进行推理， 其中所述神经网络 中激活层的激活函数 为一元二次多项式， 所述多项式至少包括二次项和一次项， 所述激活函数在选定的输入区 间内具有单调增、 梯度非负的特性， 并且所述神经网络已按照权利要求1 ‑12任一所述的训 练方法进行训练。 14.一种计算装置， 包括： 处理器， 其配置用于执 行程序指令； 以及 存储器， 其配置用于存储所述程序指令， 当所述程序指令由所述处理器加载并执行时， 使得所述处理器执行根据权利要求1 ‑12任一所述的训练方法或执行权利要求13所述的推 理方法。 15.一种计算机可读存储介质， 其中存储有程序指令， 当所述程序指令由处理器加载并 执行时， 使得所述处理器执行根据权利要求 1‑12任一所述的训练方法或执行权利要求 13所 述的推理方法。权　利　要　求　书 2/2 页 3 CN 114626511 A 3