(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210692471.8 (22)申请日 2022.06.17 (71)申请人 国家计算机网络与信息安全管理中 心 地址 100029 北京市朝阳区裕民路甲3号 (72)发明人 李晓雪　任彦　郑礼雄　薛晨　 易立　窦禹　王一宇　杨昕雨　 张博文　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 余长江 (51)Int.Cl. G06F 16/242(2019.01) G06F 16/25(2019.01) G06F 21/62(2013.01) (54)发明名称 基于流计算的集群数据共享方法及装置 (57)摘要 公开了一种基于流计算的集群数据共享方 法及装置， 所述方法包括： 获取数据共享需求， 所 述数据共享需求包括： 业务规则和数据发送方 式， 所述数据发送方式包括： 参与数据共享的客 户端； 基于所述数据发送方式， 生成共享任务中 的用户以及所述用户的用户凭证； 对 所述业务规 则进行转换， 获取具有流式SQL语法规则的SQL语 句； 基于系统资源配额、 所述用户、 所述用户凭证 以及所述具有 流式SQL语法规则的SQL语句， 生成 数据共享任务； 执行所述数据共享任务。 本发明 降低流数据处理系统的数据接入难度， 提高整个 数据处理系统的吞吐量。 本发明减少数据延迟， 提高执行效率， 并且可以灵活的配置任务的启停 时间、 有效期限， 保证数据的安全。 权利要求书2页 说明书4页 附图3页 CN 115269628 A 2022.11.01 CN 115269628 A 1.一种基于流计算的集群数据共享方法， 其 步骤包括： 获取数据共享需求， 所述数据共享需求包括： 业务规则和数据发送方式， 所述数据发送 方式包括： 参与数据共享的客户端； 基于所述数据发送方式， 生成共享任务中的用户以及所述用户的用户凭证； 对所述业务规则进行转换， 获取 具有流式SQ L语法规则的SQ L语句； 基于系统资源配额、 所述用户、 所述用户凭证以及所述具有流式SQL语法规则的SQL语 句， 生成数据共享任务； 执行所述数据共享任务。 2.如权利要求1所述的方法， 其特征在于， 所述业务规则包括： 是否对数据进行筛选、 指 定共享的字段、 是否加密、 否脱敏和将数据发送给外 部用户的方式。 3.如权利要求1所述的方法， 其特征在于， 所述基于所述数据发送方式， 生成共享任务 中的用户以及所述用户的用户凭证， 包括： 根据所述数据发送方式， 创建FTP目录与Kafka  Topic， 并设定所述FTP目录的访问信息 包括： FTP主机、 FTP主机的端口号、 用户名和密码， 所述Kafka  Topic相应的消息队列Kafka 的访问信息包括： Bo otstrap Servers、 K erberos Principal和K eytab； 结合所述FTP目录的访问信息与所述消息队列Kafka的访问信息， 得到所述用户的用户 凭证。 4.如权利要求1所述的方法， 其特征在于， 对所述业务规则进行转换， 获取具有流式SQL 语法规则的SQ L语句， 包括： 基于过滤规则， 过 滤所述业务规则， 所述过 滤规则包括： 组合关系 、 字段、 操作符与值； 对过滤后的业 务规则， 进行字段的加密与脱敏处 理， 以得到 字段与处 理方式的二元组； 依据是业务规则中指定的共享字段， 将从数据管理方获取所有数据的Topic名称、 字段 名称和字段类型， 展示在界面上； 结合在所述界面上 预置的操作符与所述处 理方式， 用户业 务规则配置操作； 将过滤规则转换成条件语句； 将共享字段和处 理方式转换为UDF函数， 以生成语句片段； 拼接所述条件语句与所述语句片段， 得到SQ L语句； 依据Flink引擎的流式SQL语法规则， 对所述SQL语句进行修改， 得到具有流式SQL语法 规则的SQ L语句。 5.如权利要求 4所述的方法， 其特 征在于， 所述对所述SQ L语句进行修改， 包括： 添加共享 位置、 添加watermark字段和添加用于实现加密脱敏的自定义 函数。 6.如权利要求1所述的方法， 其特 征在于， 所述执 行所述数据共享任务之前， 还 包括： 系统管理员审批所述数据共享任务； 审批通过后， 将所述数据共享任务中的共享操作保存为系统审计记录 。 7.如权利要求1所述的方法， 其特 征在于， 所述执 行所述数据共享任务， 包括： 将所述数据共享任务的任务信息转换为Jso n数据文件； 将所述Json数据文件作为任务启动的参数传入， 并在执行所述数据共享任务时， 基于 Json数据文件， 按照所述数据共享任务的描述内容执 行数据共享操作。 8.如权利要求1所述的方法， 其特 征在于， 所述执 行所述数据共享任务， 还 包括：权　利　要　求　书 1/2 页 2 CN 115269628 A 2将所述数据共享任务 提交到Fl ink执行引擎； 所述数据共享任务中的底层任务执行通过Flink实现， 其中， 实现的模式包括： 负责大 流量Kafka输出任务的集群执 行模式和负责FTP目录共享的单机执 行模式； 以Restful  API的形式开 放接口， 由最上层的可视化界面调用。 9.一种存储介质， 所述存储介质中存储有计算机程序， 其中， 所述计算机程序被设置为 处理器运行时执 行权利要求1 ‑8中任一所述方法。 10.一种电子装置， 其特征在于， 包括存储器和处理器， 所述存储器中存储有计算机程 序， 所述处 理器被设置为 运行所述计算机程序以执 行如权利要求1 ‑8中任一所述方法。权　利　要　求　书 2/2 页 3 CN 115269628 A 3