Flink 提交作业的方式

首先我进行了flink单机部署,个人建议不管是学习还是开发尽量不使用

然后开始了flink自带集群部署,部署在三台服务器上,资源管理由flink集群自己管理,然后为了解决集群的单点故障问题,使用zookeeper监听事件,实现独立高可用集群,防止集群的单点故障,推荐这种集群可以部署在开发环境中测试使用

最后一种就是flink on yarn: 把资源管理交给yarn实现,计算机资源统一由Haoop YARN管理,推荐部署在生产环境中使用,也算是目前主流的一种部署方式。

然后k8s部署,容器化部署是如今业界流行的一项技术,基于 Docker 镜像运行能够让用户更加方便地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes(k8s),而 Flink 也在最近的版本中支持了 k8s 部署模式

 

如果传递了–detached参数,一旦提交被接受,客户端将停止 :

参考:

Flink运行方式及对比-腾讯云开发者社区-腾讯云

Flink on Yarn模式部署

相关推荐

  1. flink 作业动态维护更新,不重启flink,不提交作业

    2024-07-09 17:58:03       32 阅读
  2. Flink 命令行提交、展示和取消作业

    2024-07-09 17:58:03       22 阅读
  3. Flink 命令行提交、展示和取消作业

    2024-07-09 17:58:03       26 阅读
  4. Flink两阶段提交是什么

    2024-07-09 17:58:03       47 阅读
  5. Flink命令行提交时参数传递

    2024-07-09 17:58:03       39 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-09 17:58:03       67 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-09 17:58:03       71 阅读
  3. 在Django里面运行非项目文件

    2024-07-09 17:58:03       58 阅读
  4. Python语言-面向对象

    2024-07-09 17:58:03       69 阅读

热门阅读

  1. 57、Flink 的项目配置概述

    2024-07-09 17:58:03       30 阅读
  2. git杂记

    git杂记

    2024-07-09 17:58:03      26 阅读
  3. [Python学习篇] Python面向对象——继承

    2024-07-09 17:58:03       29 阅读
  4. 【Linux命令入门】查找文件

    2024-07-09 17:58:03       23 阅读
  5. 编码与梦想:我的CSDN创作5周年

    2024-07-09 17:58:03       24 阅读
  6. 多数据库支持在PHP框架中的实现策略与实践

    2024-07-09 17:58:03       30 阅读
  7. JVM 堆内存分配过程

    2024-07-09 17:58:03       29 阅读
  8. c++单例模式的一种写法

    2024-07-09 17:58:03       25 阅读
  9. nunjucks动态更新模版路径

    2024-07-09 17:58:03       24 阅读
  10. 【python技巧】pytorch网络可视化

    2024-07-09 17:58:03       28 阅读