首页 > 其他分享 >Flink在数度Datagradient平台的应用​

Flink在数度Datagradient平台的应用​

时间:2022-10-11 19:03:59浏览次数:39  
标签:计算 Flink 实时 数度 流式 应用 Datagradient 数据

       Apache Flink是一个框架和分布式处理引擎,用于对无边界和有边界的数据流进行有状态的计算。梯度科技自主研发的Datagradient(数度),实时计算(实时开发)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理场景。实时计算产品彻底规避繁重的底层流式处理逻辑开发工作,Flink 被设计为可以在所有常见集群环境中运行,并能以内存速度和任意规模执行计算。​

目前市场上主流的流式计算框架有具有同时支持高吞吐低延迟、支持有状态计算、支持事件时间、支持高可用性配置、提供了不同层级的API的优势。​

Flink是原生的流处理系统,但也提供了批处理API,拥有基于流式计算引擎处理批量数据的计算能力,真正实现了批流统一。在Flink中,所有的数据都看作流,是一种很好的抽象,因为这更接近于现实世界。​

一、数度Datagradient平台​

数度Datagradient解决用户数据应用开发效率低和数据资产管理混乱的难题,帮助用户快速引接数据、构建数据湖、标准规范化数据、将数据加工成业务人员易懂易用的标签实时开发提供了强大的实时处理能力,集成诸多全链路功能,方便进行全链路实时计算开发,包括强大的流计算引擎、实时计算提供Flink SQL,支持各类错误场景的自动恢复,保证故障情况下数据处理的准确性、支持多种内置函数,包括:字符串函数、日期函数、聚合。​

Flink在数度Datagradient平台的应用​_flink


大量优化的SQL执行引擎,提供比原生Flink作业更高效且更廉价的计算作业。在开发成本和运行成本方面,实时计算均要远低于开源流式框架。轻量级本地化部署,最小五台物理机或者虚拟机即可部署实时开发平台。​

二、Flink的应用场景​

Flink 的应用场景主要有以下几种类型。​

1.事件驱动​

根据到来的事件流触发计算、状态更新或其他外部动作,主要应用实例有反欺诈、异常检测、基于规则的报警、业务流程监控、(社交网络)Web 应用等。​

传统应用和事件驱动型应用架构的区别如下图所示。​

Flink在数度Datagradient平台的应用​_实时计算_02


2.数据分析​

从原始数据中提取有价值的信息和指标,这些信息和指标数据可以写入外部数据库系统或以内部状态的形式维护,主要应用实例有电信网络质量监控、移动应用中的产品更新及实验评估分析、实时数据分析、大规模图分析100%等。​

Flink 同时支持批量及流式分析应用,如下图所示。​

Flink在数度Datagradient平台的应用​_实时计算_03


3.数据管道​

数据管道和​

数据管道的主要应用实例有电子商务中的实时查询索引构建、持续下图所示。​

Flink在数度Datagradient平台的应用​_flink_04


数度Datagradient平台定位为大数据应用开发的基础设施,纵向打通数据和应用,横向衔接数据引接、数据开发、数据治理和数据服务全流程服务,助力政府机构、军工、金融等用户降低大数据能力建设的门槛,大幅提升大数据应用效率。​




标签:计算,Flink,实时,数度,流式,应用,Datagradient,数据
From: https://blog.51cto.com/u_15735635/5747697

相关文章

  • 《基于Apache Flink的流处理》读书笔记
            前段时间详细地阅读了《ApacheFlink的流处理》这本书,作者是FabianHueske&VasilikiKalavri,国内崔星灿翻译的,这本书非常详细、全面得介绍了Flink流处......
  • Flink DataStream Sink(四)
    FlinkDataStreamSink(四)文档:https://bahir.apache.org/docs/flink/current/flink-streaming-redis/https://nightlies.apache.org/flink/flink-docs-release-1.......
  • 148-《大数据架构师》Flink-1.14 集群启动源码分析:JobManager 和 T_ev
                ......
  • flinksql读写redis
    0、前言最近有个需求,需要使用flinksql读写redis,由于官网上并没有redis的connector,在网上找了很久,开源的几个connector又没法满足要求,所有这里就自己动手实现了一个。......
  • Flink DataStream Transform(三)
    FlinkDataStreamTransform(三)环境变量      import org.apache.flink.api.scala.ExecutionEnvironment      val env = ExecutionEnvironment.getEx......
  • Flink自定义Oracle的Source的Demo
    1.实体类@Data@Builder//创建对象@NoArgsConstructor//无参构造函数@AllArgsConstructor//有参构造函数publicclassOrderSink{privateintid;......
  • flink集群(docker版)
    flink集群(docker版)​  时间2021-06-09   目录​​1环境说明 ​​​​2部署nfs ​​​​2.1安装nfs软件包 ​​​​2.2配置参数,映射checkpoints存储目录 ​​​​2......
  • FlinkSQL的DataStream和Table互转的Demo
    1.构建UserLog对象@Data@Builder//创建对象@NoArgsConstructor//无参构造函数@AllArgsConstructor//有参构造函数publicclassUserLog{privateStr......
  • FlinkSQL基础概念
    1.spark和flink的区别Flink中,批处理是流处理的一个特例spark刚好相反,是微小的批次,准实时不能说实时处理。 2.Fink的版本Flink1.12之前的版本,并没有实现流批统一Flin......
  • Flink架构优势及应用场景
       相对于传统的离线计算会存在数据反馈不及时的问题,很难满足急需实时数据做决策的场景Flink是对有界数据和无界数据进行有状态计算的分布式引擎,它是纯流式处理模式。......