(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111362696.9 (22)申请日 2021.11.17 (71)申请人 中国平安人寿保险股份有限公司 地址 518000 广东省深圳市福田区福田街 道益田路5033号平安金融中心14、 15、 16、 37、 41、 4 4、 45、 46、 54、 58、 59层 (72)发明人 彭奕　成杰峰　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 代理人 姚泽鑫 (51)Int.Cl. G06N 20/00(2019.01) G06F 8/35(2018.01) (54)发明名称 构建预训练模型的方法、 装置、 终端设备和 存储介质 (57)摘要 本申请适用于人工智能技术领域， 提供一种 构建预训练模型的方法、 装置、 终端设备和存储 介质。 该方法首先获取用户输入的预训练模型的 模型参数， 该模 型参数包含预训练模 型的模型层 数、 准确率指标以及算子序列参数； 然后， 根据准 确率指标从预设的模型库中查找与该准确率指 标匹配的原始模型， 并对该原始模型进行拆解， 得到该原始模型的一个网络层包含的各个原始 算子； 接着， 根据算子序列参数对各个原始算子 以及算子序列参数中指示的其它算子进行组装， 从而得到该预训练模型的一个目标网络层； 最 后， 根据模 型层数对该目标网络层进行复制并依 次连接， 从而构建出该预训练模型。 采用该方法 能够有效提高预训练模型的构建效率。 权利要求书2页 说明书11页 附图3页 CN 114065948 A 2022.02.18 CN 114065948 A 1.一种构建预训练模型的方法， 其特 征在于， 包括： 获取输入的模型参数， 所述模型参数包含待构建的预训练模型的模型层数、 准确率指 标以及算子序列参数， 所述算子序列参数用于指示所述预训练模型的一个网络层包含的各 个目标算子以及所述各个目标算子的排列顺序； 从预设的模型库中查找与所述 准确率指标匹配的原 始模型； 对所述原 始模型进行拆解， 得到所述原 始模型的一个网络层包 含的各个原 始算子； 根据所述算子序列参数对所述各个原始算子以及实例化获得的其它算子进行组装， 得 到所述预训练模型的一个目标网络层， 所述其它算子为所述各个目标算子中除所述各个原 始算子之外的算子； 根据所述模型层数对所述目标网络层进行复制， 并依次连接复制得到的各个网络层， 从而构建出 所述预训练模型。 2.如权利要求1所述的方法， 其特征在于， 所述从预设的模型库中查找与所述准确率指 标匹配的原 始模型， 包括： 确定所述 准确率指标 所处的准确率范围区间； 从所述模型库中查找准确率落入所述准确率范围区间的一个模型， 作为所述原始模 型。 3.如权利要求1所述的方法， 其特征在于， 所述各个目标算子和所述各个原始算子相 同， 所述根据所述算子序列参数对所述各个原始算子以及实例化获得的其它算子进行组 装， 得到所述预训练模型的一个目标网络层， 包括： 根据所述算子序列参数指示的所述各个目标算子的排列顺序， 依次对所述各个原始算 子进行组装， 得到所述预训练模型的一个目标网络层。 4.如权利要求1所述的方法， 其特征在于， 所述各个目标算子包含所述各个原始算子以 及一部分其它算子， 所述根据所述算子序列参数对所述各个原始算子以及实例化 获得的其 它算子进行组装， 得到所述预训练模型的一个目标网络层， 包括： 通过实例化的方式构建出 所述其它算子； 根据所述算子序列参数指示的所述各个目标算子的排列顺序， 依次对所述各个原始算 子和所述 其它算子进行组装， 得到所述预训练模型的一个目标网络层。 5.如权利要求4所述的方法， 其特征在于， 所述模型参数还包含输入尺寸和注意力 机制 类型， 所述 通过实例化的方式构建出 所述其它算子， 包括： 从预先使用cuda语言封装完成的各个注意力 机制算子中， 选取与所述输入尺寸和所述 注意力机制类型匹配的注意力机制算子， 作为所述 其它算子 。 6.如权利要求1所述的方法， 其特征在于， 所述各个目标算子包含所述各个原始算子的 一部分以及一部分其它算子， 所述根据所述算子序列参数对所述各个原始 算子以及实例化 获得的其它算子进行组装， 得到所述预训练模型的一个目标网络层， 包括： 通过实例化的方式构建出 所述其它算子； 将所述各个原始算子划分为第 一原始算子和第 二原始算子， 其中所述第 一原始算子为 所述各个目标算子中包含的算子， 所述第二原始算子为所述各个目标算子中不包含的算 子； 针对每个所述第 二原始算子， 检测所述其它算子中是否具有与 该第二原始算子功能相权　利　要　求　书 1/2 页 2 CN 114065948 A 2同的算子； 若所述其它算子中具有与该第二原始算子功能相同的算子， 则将该第二原始算 子确定为可替代算子； 若所述其它算子中不具有与该第二原始算子功 能相同的算子， 则将 该第二原 始算子确定为 不可替代算子； 根据所述算子序列参数指示的所述各个目标算子的排列顺序， 依次对所述第 一原始算 子、 所述其它算子以及所述第二原始算子中的不可替代算子进行组装， 得到所述预训练模 型的一个目标网络层。 7.如权利要求1至6中任一项所述的方法， 其特征在于， 所述模型层数为N， 所述根据所 述模型层数对所述 目标网络层进行复制， 并依 次连接复制得到的各个网络层， 从而构建出 所述预训练模型， 包括： 对所述目标网络层进行复制N ‑1次， 得到N个网络层； 依次连接所述 N个网络层， 从而构建出 所述预训练模型。 8.一种构建预训练模型的装置， 其特 征在于， 包括： 模型参数获取模块， 用于获取输入的模型参数， 所述模型参数包含待构建的预训练模 型的模型层数、 准确 率指标以及算子序列参数， 所述算子序列参数用于指示所述预训练模 型的一个网络层包 含的各个目标算子以及所述各个目标算子的排列顺序； 模型查找模块， 用于从预设的模型库中查找与所述 准确率指标匹配的原 始模型； 模型拆解模块， 用于对所述原始模型进行拆解， 得到所述原始模型的一个网络层包含 的各个原 始算子； 算子组装模块， 用于根据所述算子序列参数对所述各个原始算子以及实例化获得的其 它算子进行组装， 得到所述预训练模型 的一个目标网络层， 所述其它算子为所述各个目标 算子中除所述各个原 始算子之外的算子； 模型构建模块， 用于根据所述模型层数对所述目标网络层进行复制， 并依次连接复制 得到的各个网络层， 从而构建出 所述预训练模型。 9.一种终端设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至7 任一项所述的构建预训练模型的方法。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处理器执行时实现如权利要求 1至7任一项 所述的构建预训练模型的 方法。权　利　要　求　书 2/2 页 3 CN 114065948 A 3