国家标准网
文库搜索
切换导航
首页
频道
仅15元无限下载
联系我们
首页
仅15元无限下载
联系我们
批量下载
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210920861.6 (22)申请日 2022.08.02 (71)申请人 中国神华能源股份有限公司 地址 100000 北京市东城区安定门西滨河 路22号 申请人 国能网信科技 (北京) 有限公司 徐州天露中矿 矿业科技有限公司 (72)发明人 高云龙 于瑞雪 李夏光 刘海峰 (74)专利代理 机构 成都华辰智合知识产权代理 有限公司 513 02 专利代理师 秦华云 (51)Int.Cl. G06F 16/215(2019.01) G06F 16/23(2019.01) G06F 16/25(2019.01)G06F 16/2455(2019.01) G06F 21/62(2013.01) G06N 20/10(2019.01) (54)发明名称 一种基于数据指标的综合能源企业数据治 理方法及系统 (57)摘要 本发明公开了一种基于数据指标的综合能 源企业数据治理方法及系统, 其方法如下: S1、 根 据业务分析目标创建并定义所对应的属性表集 合, S2、 基于属性表集合构建得到指标数据模型; S3、 获取多个数据源根据指标数据模型进行数据 融合生成目标业务表, 数据融合过程通过融合引 擎执行数据采集、 数据转换、 数据校验和数据融 合作业; S4、 将目标业务表存入数据库缓冲表中 提示进行确认, 将确认后数据存储于业务数据库 中并发布。 本发 明使得相关权限人员均能参与到 数据构建、 清洗、 治理过程, 明确了多源 数据到目 标数据的转换规则及校验机制, 提高了数据处理 质量与效率, 增强数据资产的稳定性与规范性。 权利要求书2页 说明书7页 附图4页 CN 115269578 A 2022.11.01 CN 115269578 A 1.一种基于数据指标的综合能源企业数据治理方法, 其特 征在于: 其方法如下: S1、 根据业务分析目标创建并定义所对应的属性表集合, 属性表集合包括主数据表、 指 标表、 维度表; S2、 基于属性表集 合构建得到指标 数据模型; S3、 获取多个数据源根据指标数据模型进行数据融合生成目标业务表, 数据融合过程 通过融合引擎执 行数据采集、 数据转换、 数据校验和数据融合作业; S4、 将目标业务表存入数据库缓冲表中提示进行确认, 将确认后数据存储于业务数据 库中并发布。 2.按照权利要求1所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在 于: 在S1中, 属性表集合中各个表的属性对应构建血缘有向图; 步骤S2中指标数据模 型的指 标数据定义包括字段定义、 数据的内外部来源定义、 从数据源获取入库的转换规则、 当前数 据版本以及 访问权限。 3.按照权利要求1所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在 于: 在S3中, 指标数据模 型的数据采集设置有 数据取值规则, 数据取值规则为采集存储时所 定义的描述语言, 指标数据模型 的数据采集会根据数据源的来源设定置信度评分表; 指标 数据模型的数据校验设置有效验约束规则, 效验约束规则包括血缘有向图匹配度。 4.按照权利要求1所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在 于: 在S4中, 目标业务表中列属性对应属性表集合, 行属性对应目标业务表中数据融合后的 数据, 数据库缓冲表根据数据自检得出数据的重复、 缺失、 错误信息给出确认提示; 对于数 据的重复情况, 根据数据来源构建置信概率表针对不同数据来源的数据赋值置信概率; 对 于数据的缺 失情况, 提供数据源所采集的、 相关联的原始数据供确认及添加, 创建行为记录 规则表对 数据源、 原始数据位置进 行记录; 对于数据的错误情况, 提供数据源所采集的列属 性与行属 性的原始数据供确认及更正, 创建行为记录规则表对数据源、 原始数据列属 性与 行属性映射关系进行记录 。 5.按照权利要求1所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在 于: 步骤S2中数据融合方法如下: 将不同来源的数据源作为不同的数据集, 通过支持向量机模型以不同数据集中的数据 元作为各支持向量样本按照目标业务表的列属性进行核函数K()的相似性度量并按照如 下公式计算加权求和值M并以加权求和值M的大小 进行决策: M=sgn(∑aiyik(xi, x)+b), 其中aiyi为权重值, k(xi, x)为支持向量xi的非线性变换, xi 为输入向量, b表示支持向量机模型中参数。 6.按照权利要求2所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在 于: 不断对多个数据源进行数据增 量变化监控, 并通过更新引擎根据血缘有向图进行增量 数据更新输入到数据库缓冲 表中提示是否更新确认, 将确认后的增量数据在业务数据库中 对应加载。 7.按照权利要求1所述的一种基于数据指标的综合能源企业数据治理方法, 其特征在 于: 步骤S4中确认操作设置有访问权限、 确认人员权限、 审核人员权限。 8.一种基于数据指标的综合能源企业数据治理系统, 其特 征在于: 包括: 基础信息定义模块, 根据业务分析目标创建并定义所对应的属性表集合, 属性表集合权 利 要 求 书 1/2 页 2 CN 115269578 A 2包括主数据表、 指标表、 维度表, 定义属性表集 合中各个表的基础属性信息; 指标数据模型, 基于属性表集 合构建; 目标业务表生成模块, 获取多个数据源根据指标数据模型进行数据融合生成 目标业务 表, 数据融合过程 通过融合引擎执 行数据采集、 数据转换、 数据校验和数据融合作业; 确认和发布模块, 将目标业务表存入数据库缓冲表中并提示进行确认, 将确认后数据 存储于业务数据库中并发布。 9.按照权利要求8所述的一种基于数据指标的综合能源企业数据治理系统, 其特征在 于: 所述基础信息定义模块的属性表集合中各个表的属 性对应构建血缘有向图, 指标数据 模型的指标数据定义包括字段定义、 数据的内外部来源定义、 从数据源获取入库的转换规 则、 当前数据版本以及 访问权限。 10.按照权利要求8所述的一种基于数据指标的综合 能源企业数据治理系统, 其特征在 于: 所述指标数据模型包含有数据取值规则, 数据取值规则为采集存储时所定义的描述语 言, 指标数据模型在数据采集时根据数据源的来源设定置信度评分表; 指标数据模型包含 有效验约束规则, 效验约束规则包括血缘有向图匹配度。权 利 要 求 书 2/2 页 3 CN 115269578 A 3
专利 一种基于数据指标的综合能源企业数据治理方法及系统
文档预览
中文文档
14 页
50 下载
1000 浏览
0 评论
309 收藏
3.0分
赞助2.5元下载(无需注册)
温馨提示:本文档共14页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
下载文档到电脑,方便使用
赞助2.5元下载
本文档由 思考人生 于
2024-02-07 20:38:29
上传分享
举报
下载
原文档
(699.3 KB)
分享
友情链接
重点网络安全:“3保1评”(分保、等保、关保、密评).pptx
法律法规 计算机信息网络国际联网安全保护管理办法2011-01-08.pdf
DB37-T 1498—2022 数据中心服务器虚拟化节能技术规程 山东省.pdf
GM-T 0080-2020 SM9密码算法使用规范.pdf
GA 1800.4-2021 电力系统治安反恐防范要求 第4部分:风力发电企业.pdf
GB-T 4209-2022 工业硅酸钠.pdf
GB-T 33734-2017 机织婴幼儿床上用品.pdf
NY-T 3664-2020 手扶式茎叶类蔬菜收获机质量评价技术规范.pdf
GB-T 42014-2022 信息安全技术 网上购物服务数据安全要求.pdf
T-CSTM 00046.12—2018 低合金结构钢腐蚀试验 第12部分:电偶腐蚀试验方法.pdf
T-GDTA 005—2023 粤地优品 评价通用要求.pdf
TTAF 077.6-2020 APP收集使用个人信息最小必要评估规范 软件列表.pdf
QX-T 109—2021 城镇燃气雷电防护技术规范.pdf
思度安全-DSMM-004 数据采集安全管理规范V1.0.pdf
GB-T 29841.3-2013 卫星定位个人位置信息服务系统 第3部分:信息安全规范.pdf
GB-T 42926-2023 金融信息系统网络安全风险评估规范.pdf
T-ATCRR 33—2021 废锂离子电池回收制黑粉.pdf
JR-T 0071.1—2020 金融行业网络安全等级保护实施指引 第1部分:基础和术语.pdf
GB-T 41392-2022 数字化车间可靠性通用要求.pdf
DB22-T 3222-2021 医药企业安全生产标准化等级划分与评定 吉林省.pdf
1
/
14
评价文档
赞助2.5元 点击下载(699.3 KB)
回到顶部
×
微信扫码支付
2.5
元 自动下载
点击进入官方售后微信群
支付 完成后 如未跳转 点击这里下载
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们
微信(点击查看客服)
,我们将及时删除相关资源。