(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211431631.X (22)申请日 2022.11.16 (71)申请人 深圳鲲云信息科技有限公司 地址 518048 广东省深圳市福田区福保街 道福保社区市花路南侧长富金茂 大厦 1号楼1408 (72)发明人 黄雪辉　熊超　蔡权雄　牛昕宇　 (74)专利代理 机构 深圳智汇远见知识产权代理 有限公司 4 4481 专利代理师 邓新 (51)Int.Cl. G06N 5/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种推理验证方法、 装置、 电子设备和存储 介质 (57)摘要 本申请提供了一种推理验证方法、 装置、 电 子设备和存储介质。 所述方法包括： 获取初始图 文件； 获取预设的编译器框架， 根据所述节点的 输入输出属性和所述编译器框架中设定编译单 元的输入输出属性， 将所述初始图文件转换为第 一中间文件； 获取预设系统框架和预设的待验证 后端， 将所述目标编译单元映射至所述预设系统 框架中的框架接口算子的调用得到第二中间文 件， 并将所述目标编译单元映射至所述待验证后 端中的后端接口算子的调用得到第三中间文件； 在调用接口算子结束后， 根据所述第二中间文件 中和所述第三中间文件中同一类别的目标编译 单元的输出数据的对比结果， 确定是否验证成 功。 本申请提高了待 验证后端 验证的准确性。 权利要求书2页 说明书10页 附图2页 CN 115496217 A 2022.12.20 CN 115496217 A 1.一种推理验证方法， 其特 征在于， 所述方法包括： 获取初始图文件， 其中， 所述初始图文件中包含至少两个节点， 每个所述节点具有输入 输出属性， 所述输入输出属 性指示所述节点接 收前邻节点的输出数据， 并输入数据至后继 节点； 获取预设的编译器框架， 根据 所述节点的输入输出属性和所述编译器框架中设定编译 单元的输入输出属性， 将所述初始图文件转换为第一中间文件， 其中， 所述第一中间文件中 具有和所述设定编译 单元相同类别的目标编译单元， 所述第一中间文件支持对所述目标编 译单元的映射； 获取预设系统框架和预设的待验证后端， 将所述目标编译单元映射至所述预设系统框 架中的框架接口算子的调用得到第二中间文件， 并将所述目标编译单元映射至所述待验证 后端中的后端接口算子的调用得到第三中间文件； 在调用接口算子结束后， 根据 所述第二中间文件中和所述第 三中间文件中同一类别的 目标编译单 元的输出 数据的对比结果， 确定是否验证成功。 2.根据权利要求1所述的方法， 其特征在于， 获取预设的编译器框架， 根据所述节点的 输入输出属性和所述编译器框架中设定编译 单元的输入输出属性， 将所述初始图文件转换 为第一中间文件 包括： 获取预设的编译器框架， 其中， 所述编译器框架中包括至少两个设定编译单元， 所述设 定编译单 元具有和所述节点相同的输入输出属性和相同的数量； 读取所述初始图文件， 在读取所述初始图文件的过程中， 将所述初始图文件中的每个 节点分别映射至一个所述设定编译单元得到所述第一中间文件， 其中， 所述第一中间文件 是由每个所述目标编译单 元和所述目标编译单 元之间的输入输出关系构成的图结构。 3.根据权利要求1所述的方法， 其特征在于， 所述得到第二中间文件之后， 所述方法还 包括： 根据所述第二中间文件， 构建实时系统图结构； 通过即时编译器将所述实时系统图结构序列化为目标文件， 其中， 所述目标文件用于 在所述接口算子中反序列化并执 行， 或在所述预设系统框架中加载并执 行。 4.根据权利要求3所述的方法， 其特征在于， 根据 所述第二中间文件中和所述第 三中间 文件中同一类别的目标编译单元 的输出数据的对比结果， 确定是否验证成功之前， 所述方 法还包括： 在构建所述实时系统图结构的过程中， 在所述第二中间文件中插 入预设函数； 采用所述预设函数， 将所述第二中间文件中目标编译单元的输出数据保存至外部文 件， 其中， 所述外部文件独立于所述第二中间文件存在， 所述外部文件的名称对应所述第二 中间文件中的目标编译单 元。 5.根据权利要求4所述的方法， 其特征在于， 将所述第 二中间文件中目标编译单元的输 出数据保存至 外部文件后， 所述方法还 包括： 根据预设类型的目标编译单元， 确定对应的外部文件和所述待验证后端中的相应文 件， 其中， 所述外部文件中包含所述预设类型 的目标编译单元在所述预设系统框架运行中 的输出数据， 所述相应文件中包括所述预设类型的目标编译 单元在所述待验证后端运行中 的输出数据；权　利　要　求　书 1/2 页 2 CN 115496217 A 2将所述外 部文件中的数据和所述相应文件中的数据进行比对。 6.根据权利要求1所述的方法， 其特 征在于， 所述获取初始图文件 包括： 获取神经网络模型， 其中， 所述神经网络模型 是采用深度学习框架训练得到的； 通过转换工具将所述神经网络模型转换为初始图文件， 其中， 所述初始图文件是一个 由节点和连接边构成的图结构文件， 所述节点具有所述神经网络模型的数据输入输出功 能， 所述连接边由相邻节点连接得到， 所述连接边指示数据流走向。 7.根据权利要求3所述的方法， 其特征在于， 所述实时系统图结构为动态图， 所述目标 文件为静态图， 通过即时编译器将所述实时系统图结构序列化 为目标文件 包括： 采用编译器框架 的即时编译器， 通过预先定义好的张量追踪动态图的构建过程， 得到 构建出来的动态图； 将所述动态图转换为静态图， 其中， 所述静态图采用中间表示进行描述。 8.一种推理验证装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取初始图文件， 其中， 所述初始图文件中包含至少两个节点， 每个所 述节点具有输入输出属 性， 所述输入输出属 性指示所述节点接 收前邻节点的输出数据， 并 输入数据至后继节点； 转换模块， 用于获取预设的编译器框架， 根据所述节点的输入输出属性和所述编译器 框架中设定编译单元的输入输出属性， 将所述初始图文件转换为第一中间文件， 其中， 所述 第一中间文件中具有和所述设定编译 单元相同类别的目标编译单元， 所述第一中间文件支 持对所述目标编译单 元的映射； 映射模块， 用于获取预设系统框架和预设的待验证后端， 将所述目标编译单元映射至 所述预设系统框架中的框架接口算子的调用得到第二中间文件， 并将所述目标编译单元映 射至所述待验证后端中的后端接口算子的调用得到第三中间文件； 比对模块， 用于在调用接口算子结束后， 根据所述第二中间文件中和所述第三中间文 件中同一类别的目标编译单 元的输出 数据的对比结果， 确定是否验证成功。 9.一种电子设备， 其特征在于， 包括处理器、 通信接口、 存储器和通信总线， 其中， 处理 器， 通信接口， 存 储器通过通信总线完成相互间的通信； 存储器， 用于存放计算机程序； 处理器， 用于执 行存储器上所存放的程序时， 实现权利要求1 ‑7任一的方法步骤。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质内存储有计算机 程序， 所述计算机程序被处 理器执行时实现权利要求1 ‑7任一的方法步骤。权　利　要　求　书 2/2 页 3 CN 115496217 A 3