57、Flink 的项目配置概述

1)概览
1.开始

要开始使用 Flink 应用程序,请使用以下命令、脚本和模板来创建 Flink 项目。

可以使用如下的 Maven 命令或快速启动脚本,基于原型创建一个项目。

a)Maven 命令
mvn archetype:generate                \
  -DarchetypeGroupId=org.apache.flink   \
  -DarchetypeArtifactId=flink-quickstart-java \
  -DarchetypeVersion=1.19.0
b)快速启动脚本
curl https://flink.apache.org/q/quickstart.sh | bash -s 1.19.0
2.需要哪些依赖

要开始一个 Flink 作业,通常需要如下依赖项:

  • Flink API,用来开发你的作业
  • 连接器和格式,以将你的作业与外部系统集成
  • 测试实用程序,以测试你的作业

除此之外,若要开发自定义功能,还要添加必要的第三方依赖项。

3.Flink API

Flink 提供了两大 API:Datastream API 和 Table API & SQL,它们可以单独使用,也可以混合使用,具体取决于你的使用场景

你要使用的 API 你需要添加的依赖项
DataStream flink-streaming-java
DataStream Scala 版 flink-streaming-scala_2.12
Table API flink-table-api-java
Table API Scala 版 flink-table-api-scala_2.12
Table API + DataStream flink-table-api-java-bridge
Table API + DataStream Scala 版 flink-table-api-scala-bridge_2.12
4.运行和打包

如果想通过简单地执行主类来运行作业,需要 classpath 里包含 flink-clients。对于 Table API 程序,还需要在 classpath 中包含 flink-table-runtimeflink-table-planner-loader

根据经验,建议将应用程序代码及其所有必需的依赖项打包进一个 fat/uber JAR [包含所有依赖项和代码的 JAR]中。这包括打包作业用到的连接器、格式和第三方依赖项;此规则不适用于 Java API、DataStream Scala API 以及前面提到的运行时模块,它们已经由 Flink 本身提供,不应包含在作业的 uber JAR 中。

可以把该作业 JAR 提交到已经运行的 Flink 集群,也可以轻松将其添加到 Flink 应用程序容器镜像中,而无需修改发行版。

相关推荐

  1. 57Flink 项目配置概述

    2024-07-09 17:58:02       30 阅读
  2. 59Flink 项目配置 Connector 和 Format 详解

    2024-07-09 17:58:02       22 阅读
  3. 56Flink DataStream 管理执行配置详解

    2024-07-09 17:58:02       20 阅读
  4. 65、Flink DataStream Connectors 概述

    2024-07-09 17:58:02       24 阅读
  5. Flink面试整理-Flink配置管理包含哪些?

    2024-07-09 17:58:02       30 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-09 17:58:02       67 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-09 17:58:02       71 阅读
  3. 在Django里面运行非项目文件

    2024-07-09 17:58:02       58 阅读
  4. Python语言-面向对象

    2024-07-09 17:58:02       69 阅读

热门阅读

  1. git杂记

    git杂记

    2024-07-09 17:58:02      26 阅读
  2. [Python学习篇] Python面向对象——继承

    2024-07-09 17:58:02       29 阅读
  3. 【Linux命令入门】查找文件

    2024-07-09 17:58:02       23 阅读
  4. 编码与梦想:我的CSDN创作5周年

    2024-07-09 17:58:02       24 阅读
  5. 多数据库支持在PHP框架中的实现策略与实践

    2024-07-09 17:58:02       30 阅读
  6. JVM 堆内存分配过程

    2024-07-09 17:58:02       28 阅读
  7. c++单例模式的一种写法

    2024-07-09 17:58:02       25 阅读
  8. nunjucks动态更新模版路径

    2024-07-09 17:58:02       24 阅读
  9. 【python技巧】pytorch网络可视化

    2024-07-09 17:58:02       28 阅读