首页 > 其他分享 >FLINK实时数仓笔记2

FLINK实时数仓笔记2

时间:2023-03-09 17:45:54浏览次数:42  
标签:数仓 架构 FLINK 稳定性 实时 笔记 数据量 耦合 时效性

离线架构

  • 优点:耦合性能低,稳定性高
  • 缺点:时效性差一点
  • 说明:
    1.项目经理(架构师)是大公司出来的,追求系统的稳定性
    2.耦合性低,稳定性高
    3.考虑到公司未来的发展,数据量一定会变得很大
    4.早期的时候实时业务使用sparkStreaming(微批次)

实时架构

  • 优点:时效性好
  • 缺点:耦合性高,稳定性低
  • 说明:
    1.时效性好,使用flink
    2.kafka集群高可用,挂一台两台是没有问题
    3.数据量小,所有机器存在于同一台机房,传输没有问题
    4.架构还是公司项目经理(架构师)定的

标签:数仓,架构,FLINK,稳定性,实时,笔记,数据量,耦合,时效性
From: https://www.cnblogs.com/V-AK47/p/17199364.html

相关文章

  • C++笔记--函数、预处理
    1函数1.1函数的介绍1.1.1函数的概述函数是c语言的功能单位。实现一个功能可以封装一个函数来实现。定义函数的时候一切以功能为目的,根据功能去定函数的参数和返回值......
  • React学习笔记(三)—— 组件高级
    一、列表和keys1.1、ListsandKeys(列表和键)首先,我们回顾一下在javascript中怎么去变换列表。下面了的代码,我们用到了数组函数的map方法来实现数组的每一个值变成它的2......
  • 《逆向工程核心原理》学习笔记3
    《逆向工程核心原理》学习笔记3http://blog.iz4.cc/note/2021/11/%E3%80%8A%E9%80%86%E5%90%91%E5%B7%A5%E7%A8%8B%E6%A0%B8%E5%BF%83%E5%8E%9F%E7%90%86%E3%80%8B%E5%AD%......
  • Flutter 笔记
    FlutterFlutter核心原理底层绘制采用OpenGL,调用原生绘图接口,实现高性能什么是UI框架?由于操作系统直接操作API来绘制图片十分繁琐,将操作系统原生API封装在一个编程框架......
  • 论文笔记(一):基于特征动态对齐和细化的VI图像融合--平移鲁棒融合
    文章标题Featuredynamicalignmentandrefinementforinfrared–visibleimagefusion:TranslationrobustfusionHuafengLi,云南昆明科技大学;JunzhiZhao,云南......
  • 【笔记】docker compose安装
    1、查看当前最新dockercompose发行版本https://github.com/docker/compose/releases2、运行如下命令,下载DockerCompose的当前稳定版本sudocurl-L"https://githu......
  • 【笔记】docker镜像相关命令
    1.显示当前docker下的所有镜像dockerimages2.从远程仓库查看指定名称的镜像dockersearch镜像名只列出N个镜像,默认25个dockersearch--limitN镜像名3.下载镜......
  • 【笔记】docker服务启停、容器删除相关命令
    一、docker服务启停命令1.1.启动dockersystemctlstartdocker1.2.关闭dockersystemctlstopdocker1.3.重启dockersystemctlrestartdocker1.4.查看docker运......
  • 【笔记】nginx配置
    一、创建Nginx运行使用的用户1.1创建system用户组/usr/sbin/groupaddsystem1.2创建用户nginx/usr/sbin/useradd-gsystemnginx1.3查看默认配置文件cat/usr/local......
  • 离线数仓之Kerberos基本使用及问题记录
    离线数仓之Kerberos基本使用及问题记录​​0.写在前面​​​1.Kerberos基本使用​​​0.启动Kerberos相关服务​​​​1.安全模式下启动Hadoop集群​​​2.安装Kerbero......