(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111354579.8 (22)申请日 2021.11.16 (71)申请人 中国电子产品可靠性与环境试验研 究所 （ （工业和信息化部电子第五研 究所） （中国赛宝实验室） ） 地址 511300 广东省广州市增城区朱 村街 朱村大道西78号 (72)发明人 高岩　杨亚楠　王强　虞飞　 (74)专利代理 机构 华进联合专利商标代理有限 公司 44224 代理人 钟善宝 (51)Int.Cl. G06F 11/34(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 20/00(2019.01) (54)发明名称 网络异构计算平台测试方法、 装置和计算机 设备 (57)摘要 本申请涉及一种网络异构计算平台测试方 法、 装置、 计算机设备和存储介质。 所述方法包 括： 获取网络异构计算平台的所有测试指标及每 一测试指标包含的所有子测试指标； 所有测试指 标包括资源利用和并行调度能力、 智能计算框架 和部件支持能力、 智能数据和服务管理支撑能 力、 数据和模型隐私保护 能力、 智能算法并行优 化能力及通用智能服务能力； 获取每一测试指标 包含的每一子测试指标对应的评价分数； 对每一 测试指标包含的每一子测试指标对应的评价分 数进行加权求和， 得到每一测试指标对应的评价 分数。 由于从六个维度对网络异构计算平台进行 测试验证， 实现对网络异构计算平台全面的测 试， 从而提高网络异构计算平台的测试结果的精 确性。 权利要求书3页 说明书18页 附图3页 CN 114297041 A 2022.04.08 CN 114297041 A 1.一种网络异构计算平台测试 方法， 其特 征在于， 所述方法包括： 获取网络异构计算平台的所有测试指标及每一测试指标包含的所有子测试指标； 所述 所有测试指标包括资源利用和并行调度能力、 智能计算框架和部件支持能力、 智能数据和 服务管理支撑能力、 数据和模型隐私保护能力、 智能算法并行优化能力及通用智能服务能 力； 所述资源利用和并行调 度能力包含的所有子测试指标包括异构资源融合调 度能力及任 务集群自动扩展能力； 所述智能计算框架和部件支持能力包含的所有子测试指标包括预设 框架的支持能力及异构资源支持能力； 所述智能数据和服务管理支撑能力包含的所有子测 试指标包括多模式数据预标注 能力、 数据管理能力及交互式智能建模能力； 所述数据和模 型隐私保护能力包含的所有子测试指标包括模型数据隐私保护能力、 用户数据隐私保护能 力及隐私保护数据聚合能力； 所述智能算法并行优化能力包含的所有子测试指标包括智能 算法库适配能力、 智能算法并行优化效率、 深度学习训练效率提升能力及深度学习训练效 果提升能力； 所述通用智能服务能力包含的所有子测试指标包括智能语音交互能力、 视觉 目标识别能力及自然语言处 理能力； 获取每一测试指标包 含的每一子测试指标对应的评价分数； 对每一测试指标包含的每一子测试指标对应的评价分数进行加权求和， 得到每一测试 指标对应的评价分数。 2.根据权利要求1所述的方法， 其特征在于， 所述获取每一测试指标包含的每一子测试 指标对应的评价分数， 包括： 分别获取计算任务在通过所述网络异构计算平台的资源管理系统调度时的第一调度 时长以及所述计算任务在未通过所述资源管理系统调度时的第二调 度时长， 计算所述第二 调度时长与所述第一调 度时长之 间的第一比值， 获取1与所述第一比值之 间的第一差值， 根 据所述第一差值， 确定所述异构资源融合调度能力对应的评价分数； 确定所述网络异构计算平台在接收到第一预设数量的计算测试请求时基于水平扩展 部署策略所部署的计算资源总 数， 确定所述计算资源总 数的第一倒数； 计算自然常数 的负 所述第一倒数次方的第一次幂， 根据所述第一次幂， 确定所述任务集群 自动扩展能力对应 的评价分数， 所述第一预设数量大于所述水平扩展部署策略的触发阈值。 3.根据权利要求1所述的方法， 其特征在于， 所述获取每一测试指标包含的每一子测试 指标对应的评价分数， 包括： 获取所有深度学习框架的总数量与所述网络异构计算平台所支持的深度学习框架的 总数量之间的第二比值； 根据所述第二比值的第二倒数， 确定所述预设框架的支持能力对 应的评价分数； 获取所有异构计算资源的总数量与所述网络异构计算平台所支持的异构计算资源的 总数量之间的第三比值； 根据所述第三比值的第三倒数， 确定所述异构资源支持能力对应 的评价分数。 4.根据权利要求1所述的方法， 其特征在于， 所述获取每一测试指标包含的每一子测试 指标对应的评价分数， 包括： 获取对所述网络异构计算平台的测试数据 预标注的准确率， 并作为所述多模式数据 预 标注能力对应的评价分数； 所述预 标注是指对所述测试 数据的属性进行 标注； 获取所述网络异构计算平台支持管理 的数据实体的最大数量， 管理项包括数据实体存权　利　要　求　书 1/3 页 2 CN 114297041 A 2储、 数据实体处理及数据实体应用； 确定所述最大数量的第四倒数； 计算所述自然常数的负 所述第四倒数次方的第二次幂， 将所述第二次幂作为所述数据管理能力对应的评价分数； 获取第二预设数量个用户中每一用户对所述网络异构计算平台的交互式智能应用的 评分； 每一用户对所述交互式智能应用的评分的取值范围均为0至1； 获取每一用户对所述 交互式智能应用的评分与所述第二预设数量之间的第四比值， 对每一第四比值进行叠加， 得到第一 求和结果； 将所述第一 求和结果作为所述交 互式智能建模能力对应的评价分数。 5.根据权利要求1所述的方法， 其特征在于， 所述获取每一测试指标包含的每一子测试 指标对应的评价分数， 包括： 获取所述网络异构计算平台每次对百兆数据的加密时长与1之间的第二求和结果； 确 定每一第二求和结果的第五倒数， 将 每一第五倒数进 行叠加， 得到第三求和结果； 获取所述 网络异构计算平台每次对百兆数据的解密时长与1之间的第四求和结果； 确定每一第四求 和结果的第六倒数， 将每一第六倒数进行叠加， 得到第 五求和结果； 其中， 加密过程的次数 与解密过程的次数均为第三预设数量次； 获取所述第 三求和结果与 所述第五求和结果之间的第六求和结果， 获取所述第六求和 结果与两倍所述第三预设数量之间的第五比值， 将所述第五比值作为所述模型数据隐私保 护能力对应的评价分数； 获取所述网络异构计算平台中支持同态加密的用户数据 所依赖的算法种类总数量， 获 取所有同态加密的用户数据所依赖的算法种类总数量与所述网络异构计算平台中支持同 态加密的用户数据所依赖的算法种类总数量之 间的第六比值， 将所述第六比值的第七倒数 作为所述用户数据隐私保护能力对应的评价分数； 获取所述网络异构计算平台聚合训练的精确度与所述网络异构计算平台集中式训练 的精确度之间的第二差值， 计算所述第二差值与所述聚合训练的精确度之间的第七比值， 将所述第七比值作为所述隐私保护数据聚合能力对应的评价分数。 6.根据权利要求1所述的方法， 其特征在于， 所述获取每一测试指标包含的每一子测试 指标对应的评价分数， 包括： 获取所有机器学习算法库的总数量与所述网络异构计算平台所支持的机器学习算法 库的总数量之 间的第八比值， 将所述第八比值的第八倒数作为所述智能算法库适配能力对 应的评价分数； 获取所述网络异构计算平台的预设算法在单个计算节点上的运行时长， 获取所述预设 算法在第四预设数量个计算节点上的运行总时长； 计算所述运行总时长与所述第四预设数 量之间的乘积； 计算所述运行时长与所述乘积之间的第九比值， 将所述第九比值作为所述 智能算法并行优化效率对应的评价分数； 获取所述网络异构计算平台的预设模型被检测时的第一检测时长与优化模型被检测 时的第二检测时长， 所述优化模型是对所述预设模型进行优化得到的； 计算所述第一检测 时长与所述第二检测时长之 间的第三差值； 计算所述第三差值与所述第一检测时长之 间的 第十比值， 将所述第十比值作为所述深度学习训练效率 提升能力对应的评价分数； 获取生成样本训练策略下的网络异构计算平台在被测试时的第一测试精确度与常规 训练策略下的网络异构 计算平台在被测试时的第二测试精确度， 计算所述第一测试精确度 与所述第二测试精确度之 间的第四差值； 计算所述第四差值与所述第一测试精确度之 间的权　利　要　求　书 2/3 页 3 CN 114297041 A 3