生产环境下，应用模式部署flink任务，通过hdfs提交

  • 开发
  • 43

前言

  通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统

1. 实践

  （1）生产集群为cdh集群，从cm上下载配置文件，设置环境
在这里插入图片描述

export HADOOP_CONF_DIR=/home/conf/auth
export HADOOP_CLASSPATH=`hadoop classpath`

  （2）上传flink的lib和plugins、自己的jar包到hdfs上

hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar  /flink-jars

  （3）提交作业

bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.wc.WordCountStreamUnboundedDemo  hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar
阅读全部

相关推荐

  7. Flink 部署执行模式

    2024-02-20 12:08:03       27 阅读

  9. 生产环境下部署微调的10条戒律

    2024-02-20 12:08:03       33 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-20 12:08:03       94 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-20 12:08:03       100 阅读

  9. 在Django里面运行非项目文件

    2024-02-20 12:08:03       82 阅读

  19. Python语言-面向对象

    2024-02-20 12:08:03       91 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2024-02-20 12:08:03       85 阅读

热门阅读

  2. Kotlin函数和对象

    2024-02-20 12:08:03       54 阅读

  3. Sql Server 存储过程

    2024-02-20 12:08:03       38 阅读

  6. C# | 使用AutoResetEvent和ManualResetEvent进行线程同步和通信

    2024-02-20 12:08:03       45 阅读

  7. 小程序API能力集成指南——路由API汇总

    2024-02-20 12:08:03       53 阅读

  10. 什么是MVVM？MVC、MVP与MVVM模式的区别？

    2024-02-20 12:08:03       47 阅读

  12. Python自动化测试：unittest与pytest框架

    2024-02-20 12:08:03       46 阅读

  14. kali入门

    2024-02-20 12:08:03       62 阅读

  16. LPC/LSP/LSF辨析

    2024-02-20 12:08:03       60 阅读

  17. MongoDB语言命令

    2024-02-20 12:08:03       40 阅读

  19. Got socket error trying to find package flutter_svg

    2024-02-20 12:08:03       50 阅读

  23. go-redis 使用 redis 6.0.14 版本错误: consider implementing encoding.BinaryMarshaler

    2024-02-20 12:08:03       46 阅读

  26. pip源设置为国内源

    2024-02-20 12:08:03       50 阅读