(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210665781.0 (22)申请日 2022.06.14 (71)申请人 中国工程物理研究院计算机 应用研 究所 地址 621900 四川省绵阳市涪城区绵山路 64号 (72)发明人 万睿　梁燕　谢辛　成运畅　 高鹏翔　孙晓菡　文泽鹏　 (51)Int.Cl. G06F 16/18(2019.01) G06F 16/16(2019.01) G06F 16/13(2019.01) G06F 16/215(2019.01) G06F 21/62(2013.01) (54)发明名称 一种基于企业数据中 台的日志分析工具 (57)摘要 本申请公开了一种基于企业数据中台的日 志分析工具， 该工具属于日志数据处理领域。 为 解决企业分布式云计算系统运行日志来源多样， 日志量大导致的日志处理与分析困难的问题， 结 合企业数据中台的数据管理与沉淀能力， 提出一 种基于企业数据中台的日志分析工具， 包括： 日 志收集、 日志清洗处理、 日志分析与可视化、 权限 管控四个功能。 本发明提出的基于企业数据中台 的日志分析工具具有操作简明易用、 开发效率高 等特点， 同时该工具利用数据中台的能力， 还具 有数据管控及数据资产沉淀方便的特点。 能支持 集中收集不同业务系统、 不同应用的日志， 并支 持根据不同业务需求， 对日志数据进行搜索、 处 理、 分析等操作， 辅助对企业资源、 应用性能、 线 上业务实际运行情况监控、 业务异常原因快速定 位等。 权利要求书1页 说明书3页 附图4页 CN 114968961 A 2022.08.30 CN 114968961 A 1.一种基于企业数据中台的日志分析工具， 其特征在于， 包括： 日志收集、 日志清洗处 理、 日志分析与可视化、 权限管控。 2.如权利要求1所述的工具， 其特征在于， 所述的日志收集包括通过基于数据中台进行 采集方法配置、 数据源配置、 数据存储配置实现对多种来源， 多种类型日志数据的收集与集 中存储。 3.如权利要求1所述的方法， 其特征在于， 所述的日志清洗处理包括支持使用shell、 Python等常见语言， 通过数据字段提取、 数据格式规范、 数据字段内容替换、 定时处理等手 段实现日志数据的清洗处 理， 得到规范化数据存 储至数据库。 4.如权利要求1所述的方法， 其特征在于， 所述的日志分析与 可视化包括基于清洗后的 规范化数据， 设计统计报表样式， 选择指定的数据字段进行 统计报表开 发； 基于清洗后的规 范化数据， 构建 分析维度， 通过选择图表， 实现分析 大屏开发。 5.如权利要求1所述的方法， 其特征在于， 所述的权限管控包括对日志分析开发人员、 日志分析 管理人员、 日志可视化 查看人员等角色的授权与管理。 6.如权利要求1所述的方法， 其特征在于， 日志收集需要与数据中台数据汇聚组件接口 对接， 用于利用数据中台的数据收集基础能力； 日志清洗处理用于根据需求从海量日志中 获取规范化数据并进行存储； 日志分析与可视化用于根据业务需求， 设计分析维度与展示 方式， 获取日志分析具体情况； 权限管控用于对该工具涉及到的各类人员进行权限授权与 管理， 保证日志数据安全。 7.如权利要求1所述的方法， 其特征在于， 整个日志分析工具围绕数据中台开展， 日志 收集工具利用数据中台的数据 汇聚能力， 日志处理及日志分析与可视化分析得到的日志结 构化数据以及分析 结果数据均存 储于数据中 台中， 便于对系统日志的数据资产化管理。权　利　要　求　书 1/1 页 2 CN 114968961 A 2一种基于企业数据 中台的日志分析工具 技术领域 [0001]本发明涉及计算机领域， 具体涉及一种日志分析 方法及日志分析系统。 背景技术 [0002]在企业信息系统中存储的日志是记录系统中软件、 硬件、 中间件和系统问题的信 息， 同时还具有对系统中发生的事件进 行监控与 记录的功能。 因此， 日志分析对于检查系统 发生错误的原因、 监控系统状态具有非常重要的意 义， 也成为了企业关注的重点。 [0003]随着企业规模和业务需求的快速增长， 传统的 “烟囱式”研发模式已无法适应技术 与业务结合的快速变化， 难以敏捷响应企业多个层面的需求， 因此大多数企业均向微服务 架构转变。 这就导致日志存储于多个不同的服务器上， 使得日志数据收集与分析更加困难。 而数据中台是一套 可持续“让企业的数据用起来 ”的机制， 具备对中台各服务器上数据进 行 整合、 数据资产服务化、 数据价值体现的核心能力， 让企业内部员工、 客户能够快速触达数 据并且使用。 [0004]针对上述情况， 本文发明了一种基于企业数据中台的日志分析工具。 该工具通过 借用数据中台的数据收集与沉淀能力对系统各软件、 硬件、 中间件日志进 行收集， 再对日志 数据进行清洗处理以及可视化分析实现对系统运行情况 的监控， 并辅以权限管控手段， 限 制各角色的功能与权限， 提高日志分析工具的安全性。 发明内容 [0005](1)日志收集组件 [0006]在日志数据收集时， 针对企业日志来源多样， 存在方式各异， 需首先明确收集目标 与模式， 进行数据源配置， 该配置可通过数据中台数据汇 聚组件进行来源数据库配置实现 数据收集， 也可通过文件系统配置、 端口配置、 日志字段过滤、 编写采集脚本部署至待采集 服务器上等手段。 最后通过设定收集任务执行时间与日志 时间等限制条件， 完成对各类日 志的监控、 收集与初步过滤， 并将收集到的日志存储至数据中台的数据存储区。 具体实施， 可以选择其中一种或多种日志收集手段。 [0007](2)日志清洗处理组件 [0008]通过使用shell、 Java、 Python等常见开发语言， 支持通过日志数据字段提取、 数据 格式规范化、 数据字段内容替换、 时间规范化等手段对已收集日志进 行清洗与处理， 得到结 构化数据， 并将其存 储至数据中 台的特定数据库中， 以便 于完成数据积淀 。 [0009](3)日志分析与可视化组件 [0010]进行日志分析时， 需要根据需求， 完成对分析维度的设计， 并确定各分析维度所需 数据在日志中的对应字段； 同时， 还需支持常见 统计以及常见图表快速生成的能力， 允许用 户通过拓转方式选择图表以及对应数据字段， 通过读取数据完成日志分析图表的渲染。 该 组件也需要具备对指定人员的授权， 使得只有特定人员才可查看分析大屏。 授权只可授权 给具有日志可视化 查看人员角色的员工 。说　明　书 1/3 页 3 CN 114968961 A 3