(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210487550.5 (22)申请日 2022.05.06 (71)申请人 焦点科技股份有限公司 地址 210032 江苏省南京市江北新区丽景 路7号 (72)发明人 成俊杰　郭选陵　 (74)专利代理 机构 南京瑞弘专利商标事务所 (普通合伙) 32249 专利代理师 陈建和 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/25(2019.01) G06F 16/27(2019.01) G06F 21/62(2013.01) (54)发明名称 一种互联网多种复杂业务线并存的数据治 理系统 (57)摘要 互联网多种复杂业务线并存的数据治理系 统， 包括： 数据源模块、 数据交换模块、 数据整合& 处理模块、 开发套件&算法模块、 过程数据收集模 块、 管理模块、 调度&监测模 块、 治理模块； 所述数 据源模块， 通过AI的流程自动实时地监控数据源 的数据变更； 所述数据交换模块， 当在数据源模 块选择了一个数据源之后， 首先将数据进行标准 化处理， 标准化之后的数据存储至大数据平台 中。 所述数据整合&处理模块包含计算层和存储 层两个子模块， 所述开发套件&算法模块， 该模块 包含整个数据收集、 整合、 处理、 分析、 预测、 监测 流程中用到的基础函数、 高级统计分析方法、 AI 智能算法、 ETL工具、 Spark、 Hive、 MR、 Flink一系 列开发套件及算法； 所述管 理模块包含用户管理 模块、 项目管理模块、 任务管理模块、 元数据管理 模块； 从而能够自动化智 能地、 高效准确地完成 数据同步、 整 合、 计算、 分析、 使用， 并提高数据安全、 数据质量， 形成健康完 善的数据体系。 权利要求书2页 说明书5页 附图1页 CN 114756563 A 2022.07.15 CN 114756563 A 1.一种互联网多种 复杂业务线并存的数据治理系统， 其特征是， 包括： 数据源模块、 数 据交换模块、 数据整合&处理模块、 开发套件&算法模块、 过程数据收集模块、 管理模块、 调 度&监测模块、 治理模块； 所述数据源模块， 配置数据源， 并通过AI的流程自动实时地监控数据源的数据变更； 数 据源为业务数据， 数据类型多样、 异构、 复杂， 包括： 日志、 爬虫、 埋点、 数据文件、 DB、 云； 并且 支持自定义扩展接口进行 数据源的配置； 所述数据交换模块， 当在数据源模块选择了一个数据源之后， 首先将数据进行标准化 处理， 标准化方法来自于开发套件&算法模块， 标准化之后的数据存储至大数据平台中。 在 这个过程中， 按需选择多种数据交换工具， 包括Sqo op、 Kettle、 DataX、 脚本语言； 所述数据整合&处理模块， 该模块包含计算层和存储层两个子模块， 在计算层选择不同 的基础函数、 高级统计方法、 机器学习、 AI算法、 来自于开发套件&算法模块进行计算， 得到 的结果在存储层进行存储， 存储Writer提供多种存储格式和通道， 包括： DB  Writer、 File   Writer、 HDFS  Writer； 所述开发套件&算法模块， 该模块包含整个数据收集、 整合、 处理、 分析、 预测、 监测流程 中用到的基础函数、 高级统计分析方法、 AI智能算法、 ETL工具、 Spark、 Hive、 MR、 Flink一系 列开发套件及算法； 所述过程数据收集模块， 主要为数据治理做准备， 收集数据处理全流程的过程数据， 其 中包含2个子模块： 业务元数据模块和技术元数据模块； 业务元数据又包含： 维度、 属性、 指 标、 统计规则、 关系； 业务元数据包括： 业务含义、 数据标准， 指标含义， 度量方法； 技术元数 据包含： 计算信息、 存储信息、 任务参数、 转换规则、 运行过程、 调度属性、 血缘信息、 数据质 量、 机器信息、 数据库表、 数据历史记录； 所述管理模块， 包含四个子模块： 用户管理模块、 项目管理模块、 任务管理模块、 元数据 管理模块； 用户管理模块， 用于用户创建、 角色管理、 权限管理以及删除用户等操作； 项目管 理模型用于项目创建、 项目信息配置、 项目删除操作； 任务管理模块， 用于任务创建、 任务属 性配置、 任务调度配置、 任务依赖配置、 任务执行、 任务删除、 元数据管理模块， 包含元数据 存储、 元数据管理； 所述调度&监测模块， 包含六个子模块： 调度引擎模块、 执行引擎模块、 Task队列模块、 监控规则模块、 调度运行模块、 监测反馈模块； 其中调度引擎模块提供不同的调 度引擎供用 户选择； 执行引擎模块提供不同的调 度引擎保障任务可以周期调度； Task队列模块查询、 搜 索、 暂停当前已提交、 执行中和已执行 的任务队列； 监控规则模块， 提供多种监控规则并配 置规则的属性、 有效期， 对规则进 行删除操作； 调度运行模块提供调度运行wor ker保障任务 按照相应的调度属性周期执行； 监测反馈模块， 根据不同的监控算法选择不同的监控机制， 当任务调度异常的时候进行自动化预警， 这里用到的算法来自于开发套件&算法模块； 所述治理模块， 包含四个子模块： 数据质量管理模块、 数据安全管理模块、 数据资产模 块、 数据共享模块。 其中数据质量管理模块进行数据源配置、 数据质量监控规则添加、 编辑 和删除、 数据质量监控任务的查询、 订阅、 以及整个数据质量监控的分析概览； 数据安全模 块可以进 行数据脱敏、 脱敏规则的管 理、 数据访问以及使用申请、 审批、 授权操作； 数据资产 模块提供数据资产总览、 资产目录、 资产管理； 数据共享模块提供API的生成、 管 理和使用监 控； 在以上数据治理的过程中， 均配置自动化方法进行数据源的监测、 数据质量规则的生权　利　要　求　书 1/2 页 2 CN 114756563 A 2成、 数据质量 监测以及数据安全监测， 其中的自动化方法来自于开发套件&算法模块。 2.根据权利要求1所述的互联网多种复杂业务线 并存的数据治理系统， 其特征是， 开发 套件&算法模块包含整个数据收集、 整合、 数据转换、 数据加载、 策略模板、 数据处理、 数据分 析、 数据质量监测、 预测、 监测流程中用到的基础函数、 高级统计 分析方法、 A I智能算法、 ETL 工具、 Spark、 Hive、 MR、 Flink一系列开发套件及算法； AI智能算法时采用数据质量监测， 采 用AI定义转换规则， 提取数据质量评估维度； 采用机器学习中的分类学习、 函数学习、 回归 技术， 将通过提取有效的数据质量评估指标， 根据技术元数据和业务元数据的映射和融合， 动态调整智能数据质量评估管理指标的权重系数， 进而改善转换规则和数据质量评估维 度， 并随着数据量和业 务期望逐渐 变化， 使数据质量 提升方案动态更新。权　利　要　求　书 2/2 页 3 CN 114756563 A 3