Flink集群搭建

(1)JAVA_HOME 配置
conf/flink-conf.yaml env.java.home

(2)与Hadoop关联,如果确认使用Hadoop相关功能,需要关注对应的版本。如果不使用,则随意
使用flink版本
下载最新版本后,将存档复制到您的主节点并解压缩它:
tar xzf flink-.tgz
cd flink-

(3)配置Flink
编辑conf / flink-conf.yaml为集群配置Flink

1.设置 jobmanager.rpc.address 密钥以指向您的主节点

2.内存设置

jobmanager.memory.process.size 主节点flink最大内存 (MB)
taskmanager.memory.process.size 工作节点flink最大内存(MB)

3.提供集群中所有用作工作的节点(即运行TaskManager的节点)

编辑文件 conf / workers 并输入每个工作程序节点的IP /主机名。
示例:
三个节点(IP地址从10.0.0.1 到10.0.0.3且主机名master,worker1,worker2)
的设置,并显示了配置文件的内容
在这里插入图片描述
/path/to/flink/conf/flink-conf.yaml
jobmanager.rpc.address: 10.0.0.1
/path/to/flink/conf/workers
10.0.0.2
10.0.0.3

4.每台 slot 数量设置
每台计算机可用的CPU数(taskmanager.numberOfTaskSlots)

5.集群中的cpu数量总数
parallelism.default

6.临时目录
io.tmp.dirs

(4)启动flink/停止flink
前提: 必须能够ssh所有节点(jobManager)
bin/start-cluster.sh
bin/stop-cluster.sh

(5)添加jobmanager/taskmanager 到集群
使用 bin/jobmanager.sh 或 bin/taskmanager.sh
添加jobmanager:
bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
添加TaskManager
bin/taskmanager.sh start|start-foreground|stop|stop-all

相关推荐

  1. Zookeeper

    2024-07-18 14:08:03       55 阅读
  2. ZooKeeper

    2024-07-18 14:08:03       58 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-18 14:08:03       67 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-18 14:08:03       72 阅读
  3. 在Django里面运行非项目文件

    2024-07-18 14:08:03       58 阅读
  4. Python语言-面向对象

    2024-07-18 14:08:03       69 阅读

热门阅读

  1. 算法面试题六

    2024-07-18 14:08:03       21 阅读
  2. c++数据结构——栈

    2024-07-18 14:08:03       20 阅读
  3. 搞定前端面试题——TCP和UDP!!!

    2024-07-18 14:08:03       20 阅读
  4. vue2路由跳转是异步的

    2024-07-18 14:08:03       20 阅读
  5. 日有所增,不见其长

    2024-07-18 14:08:03       20 阅读
  6. Python面试整理-Python的数据类型,分别有哪些?

    2024-07-18 14:08:03       20 阅读
  7. WordPress与 wp-cron.php

    2024-07-18 14:08:03       15 阅读
  8. LeetCode //C - 231. Power of Two

    2024-07-18 14:08:03       21 阅读
  9. Leetcode617. 两个二叉树相加

    2024-07-18 14:08:03       16 阅读
  10. request method ‘DELETE‘ is not supported问题

    2024-07-18 14:08:03       21 阅读
  11. 【日常技能】excel 换行符替换的3个方法完美解决

    2024-07-18 14:08:03       21 阅读