Flink 添加 / 部署 Jar 包的若干注意事项

Flink 添加 / 部署 Jar 包可根据 Jar 包的声明周期、作用范围选择不同的附属方式,从实际应用上来看,可以分成以下几种场景:

  1. 普遍使用的框架或基础设施级别的 Jar 包,例如 Kafka、Hive、Hudi 等 Connector 的Jar 包,应该部署到 ${FLINK_HOME}/lib 目录下,这样所有应用均可使用。但要记住:这需要重启应用或启动新的 Yarn Session 才会生效
  2. 使用 Flink SQL Client 时,如果 Jar 包已经部署到 ${FLINK_HOME}/lib 目录下,是会被自动加载的,但同样要启动新的 Yarn Session 才会生效!如果是临时性的 Jar 包,或者是应用/Session级别特定的 Jar 包,不适合启动任何程序都要加载,则可以通过 -j 1.jar -j 2.jar 的形式,在启动 SQL Client 时加载
  3. 当然,使用 ADD JAR '/path/hello.jar'; 同样也是一个不错的选择!

相关推荐

  1. Flink 添加 / 部署 Jar 若干注意事项

    2024-01-31 08:36:03       46 阅读
  2. ES集群部署注意事项

    2024-01-31 08:36:03       38 阅读
  3. 大数据学习之FlinkFlink容错机制注意事项

    2024-01-31 08:36:03       61 阅读
  4. Spring Boot应用部署 - JAR部署

    2024-01-31 08:36:03       32 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-31 08:36:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-31 08:36:03       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-31 08:36:03       82 阅读
  4. Python语言-面向对象

    2024-01-31 08:36:03       91 阅读

热门阅读

  1. 下载jar中classes下的文件

    2024-01-31 08:36:03       63 阅读
  2. 数据仓库之数据治理

    2024-01-31 08:36:03       47 阅读
  3. Android 14 修改安兔兔等三方工具显示的屏幕尺寸

    2024-01-31 08:36:03       112 阅读
  4. linux -- per-CPU变量

    2024-01-31 08:36:03       56 阅读
  5. 3分钟搞定springboot 定时任务cron表达式

    2024-01-31 08:36:03       60 阅读
  6. BERT问答模型回答问题

    2024-01-31 08:36:03       47 阅读
  7. 大数据存储与处理技术之Spark

    2024-01-31 08:36:03       46 阅读
  8. C++ 实现单例模式

    2024-01-31 08:36:03       50 阅读
  9. Vue 甘特图 gantt 安装使用

    2024-01-31 08:36:03       52 阅读