Flink 历史服务器配置

时间：2024-01-18 17:25:46浏览次数：20

标签：Flink 配置 flink historyserver 192.168 job fs 服务器

本文将历史服务器的日志信息保存到Hadoop 的 HDFS上，也可选择保存到本地磁盘上。

1.在HDFS上创建保存日志的文件夹

hadoop fs -mkdir -p /logs/flink-job

2.修改flink配置文件，添加历史服务器相关配置

vi /usr/flink/flink-1.18.0/conf/flink-conf.yaml

jobmanager.archive.fs.dir: hdfs://192.168.58.130:8020/logs/flink-job
historyserver.web.address: 192.168.58.130
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://192.168.58.130:8020/logs/flink-job
historyserver.archive.fs.refresh-interval: 5000

3.启动历史服务器

/usr/flink/flink-1.18.0/bin/historyserver.sh start

4.查看

在浏览器地址栏输入：http://192.168.58.130:8082 查看已经停止的 job 的统计信息

4.停止历史服务器

/usr/flink/flink-1.18.0/bin/historyserver.sh stop

标签：Flink,配置,flink,historyserver,192.168,job,fs,服务器
From： https://www.cnblogs.com/fanqisoft/p/17972940

计算引擎-Flink
参考：https://mp.weixin.qq.com/s/RUS9w-bGan6fDcF9CVqvFwcheckpoint1.CheckpointCoordinator向所有source节点triggerCheckpoint.然后SourceTask会在数据流中安插CheckPointbarrierJobManager对每一个job都会产生一个CheckpointCoordinator向所有source节点触......
安裝配置nginx所遇到的問題匯總;
1安裝Yum安装Nginx1、配置Centos7NginxYum源仓库rpm-Uvhhttp://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm2、安装Nginxyuminstallnginx-y3、启动Nginx,并设置开启自启动systemctlstartnginxsystemctlenablenginx4......
Xshell通过跳板机连接服务器
一、GitSSH密钥生成1.打开命令行工具，输入以下命令：$ssh-keygen-trsa-C"[email protected]"其中，“-t”指定密钥类型，可以是“rsa”、“dsa”等；“-C”指定注释信息，一般为邮箱地址。2.生成密钥的存储路径：Whatisthefileinwhichtosavethekey?(/c/Users/you/.......
GB28181智慧安防视频监控EasyCVR v3.5系统增加录像保存地址的配置
智慧安防监控EasyCVR视频管理平台能在复杂的网络环境中，将前端设备统一集中接入。在网络传输上，平台支持设备通过4G、5G、WIFI、有线等方式进行视频流的快捷传输，视频流经平台处理后可对外进行多格式的分发，实现多展示终端观看（电脑、大屏、电视墙、手机端等）。国标GB28181协议EasyCVR安......
(六)：映射配置(_mapping)
映射配置与关系数据库中表的DDL类似，在ES中映射时定义文档的过程，定义了文档包含哪些字段，并对文档字段是否保存、是否索引、是否分词等进行设置。1、查看映射字段GET/索引名/_mapping详情如下：2、创建映射字段创建映射字段语法：PUT/索引库名/_mapping/类型名......
Flink DataStream API 编程模型
Flink系列文章第01讲：Flink的应用场景和架构模型第02讲：Flink入门程序WordCount和SQL实现第03讲：Flink的编程模型与其他框架比较第04讲：Flink常用的DataSet和DataStreamAPI第05讲：FlinkSQL&Table编程和案例第06讲：Flink集群安装部署和HA配置第07讲：Flink常见......
运行flink 官方文档案例(信用卡欺诈检测)
环境要求java11和mavn 新起命令行启动创建项目 mvnarchetype:generate-DarchetypeGroupId=org.apache.flink-DarchetypeArtifactId=flink-walkthrough-datastream-java-DarchetypeVersion=1.18.0-DgroupId=frauddetection -DartifactId=frauddetection -Dvers......
使用k8s部署nginx文件服务器
需要使用nginx部署一个外网文件服务器使用k8s部署本次需要把一个apk文件映射到外网前提条件部署好的k8s集群部署好的存储集群(glusterfs,NFS)k8s的yaml配置文件deployment文件使用以下命令生成再修改#kubectlrunapk-nginx--image=192.168.3.61/foundation/nginx--......
idea 项目编译内存溢出解决配置
https://blog.csdn.net/malin970824/article/details/89843478 以下几种方式都可尝试下：1.在idea安装的bin目录修改配置文件 -Xms512m-Xmx2024m-Xss4M-XX:MaxPermSize=2024m 2.修改settings 3.修改tomcat-server-Xms512m-Xmx2024m-Xss4M-XX:PermSize=512M-XX:......
服务器ssh连接提示服务器拒绝了密码再试一次
应该是sshd的设置不允许root用户用密码远程登录 1、修改vim/etc/ssh/sshd_config 找到#Authentication:LoginGraceTime120PermitRootLoginwithoutpasswdStrictModesyes 改成 #Authentication:LoginGraceTime120PermitRootLoginyesStrictModesyes2、......