Flink History Server配置

目录

问题复现

History Server配置

HADOOP_CLASSPATH配置

History Server配置

问题修复

启动flink集群

启动Histroty Server


问题复现

在bigdata111上执行如下命令开启socket:

nc -lk 9999

 如图:

在bigdata111上执行如下命令运行flink应用程序 

flink run -c com.leboop.SocketStreamingWordCount /root/jars/flink-1.0-SNAPSHOT.jar --host bigdata111 --port 9999

 运行成功后,登录http://bigdata111:8081/#/overview

 打开flink web ui页面,如图:

此时点击Cancel Job取消任务,如图:

 可以在Completed Job List中看到刚刚被取消的任务,如图:

 此时重启flink集群,如图:

 再次登录flink web ui,如图:

刚被取消的任务已经不显示。 重启集群后不显示历史任务。


History Server配置

        集群现有的角色分布如下:

IP地址 主机名称 Flink角色
192.168.128.111 bigdata111 master
192.168.128.112 bigdata112 worker
192.168.128.113 bigdata113 worker

可以选择任意一条服务器作为History Server节点,这里选择bigdata112作为History Server节点。

HADOOP_CLASSPATH配置

在三台服务器上配置HADOOP_CLASSPATH,配置步骤如下:

执行如下命令,打开配置文件:

vi /etc/profile

在文件末尾添加如下配置内容:

# historyserver
export HADOOP_CLASSPATH=`hadoop classpath`

 执行如下命令,生效配置文件:

source /etc/profile

如图: 

History Server配置

        三台服务器上同时配置。执行如下命令,打开bigdata111服务器flink安装目录下的flink-conf.yaml配置文件

vi /opt/flink-1.9.3/conf/flink-conf.yaml

 默认配置如下:

改为如下配置:

#==============================================================================
# HistoryServer
#==============================================================================

# The HistoryServer is started and stopped via bin/historyserver.sh (start|stop)

# Directory to upload completed jobs to. Add this directory to the list of
# monitored directories of the HistoryServer as well (see below).
jobmanager.archive.fs.dir: hdfs:///flink-cluster/standalone/completed-jobs/

# The address under which the web-based HistoryServer listens.
historyserver.web.address: bigdata112

# The port under which the web-based HistoryServer listens.
historyserver.web.port: 8082

# Comma separated list of directories to monitor for completed jobs.
historyserver.archive.fs.dir: hdfs:///flink-cluster/standalone/completed-jobs/

# Interval in milliseconds for refreshing the monitored directories.
historyserver.archive.fs.refresh-interval: 10000

 将配置好flink-conf.yaml复制到其它节点(bigdata112、bigdata113),命令如下:

scp -r flink-conf.yaml bigdata112:`pwd`
scp -r flink-conf.yaml bigdata113:`pwd`

问题修复

启动flink集群

        执行start-cluster.sh启动flink集群,如图:

启动成功后,JobManager和TaskManager进程如图: 

启动Histroty Server

        在bigdata112上,执行如下命令启动historyserver

historyserver.sh start

启动成功后,如图: 

登录如下地址,访问history server的web ui页面

http://bigdata112:8082/#/overview

如图:

暂时什么还没有。在bigdata111上打开socket,并运行flink应用程序,如图:

此时在hdfs上并未创建存储已完成Job数据的目录( hdfs:///flink-cluster/standalone/completed-jobs/),如图:

同样History Server web ui页面也不显示job信息。可以在JobManager web ui界面看到运行的任务,如图:

 现在取消任务,任务取消后,在HDFS上生成存储已完成Job的数据目录,如图:

同时在History Server web ui已完成Job列表中会显示该作业,如图:

现在重启flink集群和History Server,如图:

重启以后在History Server  web ui页面会显示该Job(JobManager Server依然不显示)。

相关推荐

  1. Git<span style='color:red;'>配置</span>

    Git配置

    2024-07-18 15:44:01      58 阅读
  2. Redisson配置

    2024-07-18 15:44:01       58 阅读
  3. nginx配置

    2024-07-18 15:44:01       59 阅读
  4. VLAN配置

    2024-07-18 15:44:01       52 阅读
  5. XMLParser配置

    2024-07-18 15:44:01       56 阅读
  6. Redis 配置

    2024-07-18 15:44:01       45 阅读
  7. NAT<span style='color:red;'>配置</span>

    NAT配置

    2024-07-18 15:44:01      59 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-18 15:44:01       70 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-18 15:44:01       74 阅读
  3. 在Django里面运行非项目文件

    2024-07-18 15:44:01       62 阅读
  4. Python语言-面向对象

    2024-07-18 15:44:01       72 阅读

热门阅读

  1. Linux常用命令(简要总结)

    2024-07-18 15:44:01       20 阅读
  2. 《人生苦短,我用python·十》python的异常使用

    2024-07-18 15:44:01       21 阅读
  3. python open 文件名过长报错No such file or directory

    2024-07-18 15:44:01       17 阅读
  4. 异步编程 进程 线程 协程(补充

    2024-07-18 15:44:01       22 阅读
  5. 【学习笔记】lambda表达式

    2024-07-18 15:44:01       22 阅读
  6. NVIDIA-TensorRT-Python推理

    2024-07-18 15:44:01       21 阅读