Flink 部署执行模式

一、介绍

Apache Flink 提供了多种部署模式，以适应不同的环境和需求。以下是 Flink 的一些主要部署模式：

1 本地模式（Local Mode）：

• Flink 可以在本地机器上以单进程的形式运行，所有任务都将在 JVM 进程中执行。这种模式主要用于开发和测试。

2 Standalone 模式（Standalone Mode）：

Standalone 模式允许 Flink 作为独立集群运行，不需要外部的资源管理器。它有一个 Master 进程（JobManager）和多个 Worker 进程（TaskManager）。
默认情况下，Standalone 模式不提供高可用性（HA）。但可以通过配置多个 JobManager 实例并使用 ZooKeeper 来实现高可用性。

3 YARN 模式（YARN Mode）：

在 YARN 模式下，Flink 应用程序作为 YARN 集群上的应用程序运行。YARN 负责资源的分配和管理，而 Flink 负责应用程序的执行。
YARN 模式提供了高可用性，并且可以与 Hadoop 生态系统的其他组件（如 HDFS）无缝集成。
YARN 模式支持三种子模式：Per-Job（每个作业一个 YARN 会话）、Session（多个作业共享一个 YARN 会话）和 Application Mode（每个 Flink 作业作为一个 YARN 应用程序运行）。

4 Kubernetes 模式（Kubernetes Mode）：

在 Kubernetes 模式下，Flink 应用程序作为 Kubernetes 集群上的容器化应用程序运行。Kubernetes 负责集群的管理、资源的分配和服务的发现。
Flink 提供了与 Kubernetes 集成的 Native Kubernetes 部署模式，以及基于 Helm 的部署选项。

5 Mesos 模式（Mesos Mode）：

Mesos 是一个通用的集群管理器，用于在分布式系统中管理资源。在 Mesos 模式下，Flink 应用程序作为 Mesos 集群上的任务运行。
类似于 YARN 模式，Mesos 模式也提供了资源的动态分配和管理。

二、本地模式（Local Mode）

Apache Flink 的本地模式（Local Mode）是一种简单的部署模式，主要用于开发和测试 Flink 应用程序。在本地模式下，Flink 应用程序在单个 JVM 进程中运行，不涉及到集群的部署和管理。

特点

1. 简单性：在本地模式下，不需要配置和管理集群，只需要启动 Flink 应用程序即可。
2. 快速启动：由于没有集群的启动和管理开销，本地模式可以更快地启动 Flink 应用程序。
3. 便于调试：由于所有组件都在单个 JVM 进程中运行，可以更方便地进行调试和故障排除。

用途

1. 开发：在开发 Flink 应用程序时，可以使用本地模式来验证代码的正确性和性能。
2. 测试：可以使用本地模式来测试 Flink 应用程序的各个方面，包括数据处理逻辑、性能优化等。
3. 教学：对于学习 Flink 的新手来说，本地模式是一个很好的起点，因为它不需要复杂的集群配置和管理。

启动本地模式

1. 下载 Flink：从 Flink 官网下载适合操作系统的 Flink 发行版。

2. 解压：将下载的 Flink 压缩包解压到选择的目录。

3. 启动 Flink：在 Flink 的 bin 目录下，运行 start-cluster.sh（Unix/Linux）或 start-cluster.bat（Windows）脚本来启动 Flink 集群。但是请注意，在本地模式下，实际上并不需要启动整个集群，而是直接运行 Flink 应用程序。

4. 运行应用程序：使用 Flink 的命令行工具（如 flink run）或编写 Java/Scala 程序来运行 Flink 应用程序。在本地模式下，可以直接指定 local 作为执行模式，例如：flink run -m localhost:8081 -c com.example.MyFlinkJob my-flink-job.jar（这里的 -m localhost:8081 在本地模式下是可选的，因为它默认就是本地执行）。

三、Standalone 模式（Standalone Mode）

Standalone模式（Standalone Mode）是一种基本的集群部署模式。

特点

1. 独立集群：Standalone模式下，Flink集群是独立运行的，不依赖于任何外部的资源管理系统，如YARN或Kubernetes。
2. 资源预分配：在Standalone模式下，需要预先定义集群的资源规模，包括JobManager和TaskManager的CPU、内存以及每个TaskManager提供的Slot槽位等参数。这些资源在集群启动时就被确定，如果需要扩展，则需要手动调整并重启集群。
3. 资源竞争：在Standalone模式下，提交到Flink集群的作业会竞争集群的资源，或者共享集群的资源。当集群的可用Slot数量不足以满足新的作业运行要求时，新的作业会被挂起。
4. 风险性：性能差的作业或异常的作业有可能会拖垮整个集群，导致同一个集群里的其他作业也受到影响。

用途

Standalone模式通常用于开发和测试环境，因为它提供了简单且直接的集群管理方式。在开发阶段，可以使用Standalone模式来验证Flink作业的正确性和性能。在测试阶段，可以使用它来模拟生产环境的行为，并测试集群的扩展性和容错性。

部署

1. 准备环境：首先，需要准备一组物理机或虚拟机，并确保它们满足Flink的最低系统要求。此外，还需要安装Java 8或更高版本，因为Flink是基于Java开发的。
2. 下载并解压：从Flink的官方网站下载适合操作系统的Flink发行版，并解压到目标目录。
3. 配置集群：在Flink的conf目录下，可以找到各种配置文件，如flink-conf.yaml和masters、slaves等。需要编辑这些文件来定义集群的参数和配置，如JobManager和TaskManager的地址、端口、内存等。
4. 启动集群：在Flink的bin目录下，运行start-cluster.sh（Linux/Unix）或start-cluster.bat（Windows）脚本来启动Flink集群。这将启动一个JobManager进程和多个TaskManager进程，具体数量取决于配置。
5. 提交作业：一旦集群启动成功，就可以使用Flink的命令行工具（如flink run）或Flink的客户端库来提交作业到集群了。提交作业时，需要指定作业的JAR包位置、主类名以及任何其他必要的参数。

四、YARN 模式（YARN Mode）

YARN模式（YARN Mode）允许Flink在Hadoop YARN集群上运行，从而充分利用YARN的资源管理和调度能力。

特点

1. 资源管理和调度：YARN作为Hadoop的资源调度和集群管理系统，为Flink提供了资源管理和调度的能力。Flink作为YARN的一个应用程序，可以动态地申请和释放资源，以适应不同作业的资源需求。
2. 弹性伸缩：YARN模式允许Flink集群根据作业的需求动态地扩展或缩小资源。当作业需要更多资源时，YARN可以自动为Flink分配更多的资源；当作业完成或不再需要那么多资源时，YARN可以释放这些资源供其他作业使用。
3. 高可用性：在YARN模式下，Flink可以配置为使用ZooKeeper来实现JobManager的高可用性。这意味着当JobManager出现故障时，可以自动切换到其他可用的JobManager实例，从而确保作业的连续性和可靠性。
4. 集成性：YARN模式使得Flink可以无缝地与Hadoop生态系统中的其他组件（如HDFS、HBase等）进行集成。这使得Flink可以轻松地访问存储在Hadoop中的数据，并与其他Hadoop组件进行交互。

用途

YARN模式适用于生产环境中的Flink集群部署。通过使用YARN进行资源调度和管理，可以确保Flink集群在需要时能够获得足够的资源来运行作业，并且可以根据作业的需求动态地调整资源分配。此外，YARN模式还可以提供高可用性支持，确保在出现故障时能够快速地恢复服务。

部署

1. 环境准备：首先，需要确保已经安装并配置了Hadoop YARN集群。此外，还需要下载并解压与Hadoop版本兼容的Flink发行版。
2. 配置Flink：编辑Flink的配置文件（如flink-conf.yaml），设置与YARN相关的配置参数，如YARN集群的地址、Flink在YARN上的队列名称、内存配置等。
3. 提交作业：使用Flink的命令行工具（如flink run -m yarn-cluster -yn -ys -ynm …）将作业提交到YARN集群上运行。在提交作业时，需要指定作业的JAR包位置、主类名以及任何其他必要的参数。
4. 监控和管理：通过YARN的Web界面或命令行工具可以监控和管理Flink集群和作业的状态。可以查看作业的运行情况、资源使用情况以及任何潜在的错误或警告信息。

五、Kubernetes 模式（Kubernetes Mode）

Kubernetes模式（Kubernetes Mode）是一种将Flink集群部署在Kubernetes容器编排平台上的方式。

特点

1. 容器化部署：Kubernetes模式利用Kubernetes的容器编排功能，将Flink集群的各个组件（如JobManager、TaskManager等）作为容器进行部署和管理。这使得Flink集群的部署、扩展和管理更加灵活和高效。
2. 弹性伸缩：通过Kubernetes的自动扩展机制，Flink集群可以根据作业的需求动态地增加或减少容器数量，从而实现资源的弹性伸缩。这有助于优化资源利用率，降低成本。
3. 高可用性：Kubernetes提供了丰富的故障恢复和容错机制，如Pod重启、节点故障自动迁移等。在Kubernetes模式下，Flink集群可以实现高可用性，确保作业的连续性和可靠性。
4. 集成性：Kubernetes是一个流行的容器编排平台，具有广泛的生态系统和丰富的插件支持。将Flink部署在Kubernetes上，可以方便地与其他容器化应用进行集成和协作。

用途

Kubernetes模式适用于生产环境中的Flink集群部署。通过Kubernetes的容器编排和自动化管理功能，可以确保Flink集群的稳定运行、高效扩展和灵活管理。此外，Kubernetes的高可用性和容错机制也可以保障Flink作业的连续性和可靠性

部署

1. 环境准备：首先，需要安装并配置好Kubernetes集群。确保Kubernetes集群的版本与Flink支持的版本兼容。
2. 配置Flink：编辑Flink的配置文件（如flink-conf.yaml），设置与Kubernetes相关的配置参数，如Kubernetes集群的地址、命名空间、资源限制等。
3. 构建Flink镜像：将Flink的二进制文件打包成Docker镜像，并上传到Kubernetes可访问的镜像仓库中。
4. 部署Flink集群：使用Kubernetes的YAML配置文件（如flink-cluster.yaml）来定义Flink集群的部署规格，包括JobManager和TaskManager的容器数量、资源限制、存储卷等。然后，通过kubectl命令或Kubernetes的Web界面将YAML配置文件应用到Kubernetes集群中，以启动Flink集群。
5. 提交作业：一旦Flink集群成功部署并运行起来，就可以使用Flink的命令行工具（如flink run）或REST API将作业提交到集群上运行了。

六、Mesos 模式（Mesos Mode）

Mesos模式（Mesos Mode）是指将Flink集群部署在Apache Mesos集群管理器上的一种模式。

特点

1. 跨平台兼容性：Mesos是一个开源的分布式系统内核，用于在大规模集群上管理资源。Flink通过Mesos模式可以轻松地部署在Mesos集群上，充分利用Mesos的跨平台兼容性和资源管理能力。
2. 弹性伸缩：Mesos支持动态的资源分配和调度，可以根据Flink作业的需求自动调整资源。这使得Flink集群可以根据实际情况进行弹性伸缩，提高资源利用率和作业处理效率。
3. 高可用性：Mesos提供了容错和故障恢复机制，确保Flink集群在出现故障时能够自动恢复并继续运行。此外，Mesos还支持跨节点的资源复制和迁移，进一步提高Flink集群的高可用性。
4. 集成性：Mesos是一个通用的集群管理器，可以与多种存储系统、调度器和服务发现工具进行集成。通过Mesos模式，Flink可以与其他Hadoop生态系统中的组件（如HDFS、HBase等）进行无缝集成，方便数据的存储和访问。

用途

Mesos模式适用于需要将Flink集群部署在大型分布式集群环境中的场景。例如，在云计算平台、大数据处理中心或企业数据中心等环境中，可以使用Mesos模式来管理和调度Flink集群的资源，实现高性能、高可用性和弹性的流处理服务。

部署

1. 环境准备：首先，需要安装并配置好Mesos集群。确保Mesos集群的版本与Flink支持的版本兼容，并且已经正确配置了相关的网络、存储和调度器设置。
2. 配置Flink：编辑Flink的配置文件（如flink-conf.yaml），设置与Mesos相关的配置参数。这些参数包括Mesos集群的地址、Flink在Mesos上的角色（如master或worker）、资源限制等。
3. 启动Flink集群：使用Flink的启动脚本或命令行工具（如bin/flink run-application.sh）来启动Flink集群。在启动过程中，需要指定Mesos集群的地址和Flink的配置文件路径。
4. 提交作业：一旦Flink集群成功启动并运行起来，就可以使用Flink的命令行工具（如flink run）或REST API将作业提交到集群上运行了。提交作业时，需要指定作业的执行计划和所需的资源。

七、执行模式对比

Apache Flink 提供了多种部署和执行模式，包括会话模式（Session Mode）、单作业模式（Per-Job Mode）、应用模式（Application Mode）、YARN模式以及Kubernetes模式。以下是这些模式的详细解释：

1. 会话模式（Session Mode）：

• 需要先启动一个Flink集群并保持一个会话。所有提交的作业都会运行在此集群上，且集群启动时所需的资源已经确定，无法更改。
• 因此，所有已提交的作业都会竞争集群中的资源。
• 适用于多个作业需要共享同一个Flink集群的场景，但可能因资源竞争而导致性能问题。

2. 单作业模式（Per-Job Mode）：

• 会为每一个作业单独启动一个Flink集群。作业完成或关闭后，相应的资源也会被释放。
• 这种方式可以更好地隔离资源，避免不同作业之间的资源竞争。
• 但需要借助一些资源管理平台（如YARN、Kubernetes）来启动集群。
• Flink 1.11之后的版本开始推荐使用Application Mode，Per-Job Mode逐渐被视为弃用。

3. 应用模式（Application Mode）：

• 类似于单作业模式，但将应用直接提交给JobManager执行，而不是通过客户端。
• 这种方式下，应用代码直接在JobManager上执行，减少了客户端的资源压力和网络带宽占用。
• 适用于单个作业需要独立运行和管理的场景。

4. YARN模式：

• Flink 在YARN（Hadoop的资源调度和集群管理系统）之上运行。
• 客户端会将Flink应用提交给YARN的ResourceManager，而Flink会在由ResourceManager申请到的容器上部署相应的JobManager和TaskManager实例。
• YARN模式实现了对TaskManager资源的动态分配，提高了资源利用率和灵活性。
• 适用于需要在Hadoop生态系统中与其他组件（如HDFS、HBase）紧密集成的场景。

5. Kubernetes模式：

• Flink 在Kubernetes集群上运行。
• Kubernetes提供了一个强大的容器编排平台，可以自动化Flink作业的部署、扩展和管理。
• 用户需要创建Kubernetes配置文件来描述Flink作业的配置和部署细节，并使用kubectl命令或Flink的命令行工具来提交作业到Kubernetes集群。
• 适用于需要高可用性、可扩展性和自动化管理的场景。

每种模式都有其适用的场景和优缺点，一下以对比：

1、会话模式（Session Mode）

会话模式（Session Mode）是一种执行模式，其中用户首先启动一个 Flink 会话集群，然后在该会话中提交和运行多个 Flink 作业。会话集群会一直运行，直到用户显式停止它，而在此期间可以提交多个作业到该会话中执行。

1. 启动 Flink 会话集群

./bin/yarn-session.sh -n <taskmanagers> -s <slots_per_taskmanager> -tm <memory_per_taskmanager> -q <yarn_queue>

在这个命令中：

• -n 指定了要启动的 TaskManager 数量。
• -s <slots_per_taskmanager> 指定了每个 TaskManager 的 slots 数量。
• -tm <memory_per_taskmanager> 指定了每个 TaskManager 的内存大小。
• -q <yarn_queue> 指定了 YARN 的队列名称，用于提交 Flink 会话集群。

2. 提交 Flink 作业到会话集群

./bin/flink run /path/to/your/flink-job.jar

注意事项：

• 会话模式允许在一个长时间运行的 Flink 会话集群中提交和运行多个 Flink 作业。这可以简化作业的提交和管理流程，但也可能导致资源利用率不高，因为会话集群会一直运行，直到用户显式停止它。
• 在提交 Flink 作业之前，请确保 Flink 会话集群已经成功启动，并且 Flink 和 YARN（如果在使用 YARN）之间的网络连接是通畅的。
• 如果在提交 Flink 作业时遇到任何问题，请检查 Flink 和 YARN 的日志文件以获取更多信息。

2、单作业模式（Per-Job Mode）

单作业模式（Per-Job Mode）是一种执行模式，其中每个 Flink 作业都会启动一个独立的 Flink 集群来执行，作业执行完毕后集群会关闭，资源也会被释放。这种模式提供了更好的资源隔离性和灵活性。
提交 Flink 作业
使用 Flink 的命令行工具直接提交作业到集群，并指定使用单作业模式。这通常意味着需要在命令行中指定一些额外的参数来告诉 Flink 使用单作业模式。
例如，在 YARN 上运行 Flink，并使用单作业模式，可以使用如下命令：

./bin/flink run-application -t yarn-cluster --yarnconf <yarn-conf-dir> --conf <flink-conf-dir> /path/to/your/flink-job.jar
# 注意，这里使用了 run-application 而不是 run，并且指定了 -t yarn-cluster 参数来表示使用 YARN 集群模式。同时，需要提供 YARN 配置文件和 Flink 配置文件的目录。

注意事项：

• 单作业模式为每个作业提供了独立的 Flink 集群，因此具有更好的资源隔离性。这意味着一个作业的失败或宕机不会影响其他作业的执行。
• 由于每个作业都需要启动和停止一个独立的 Flink 集群，因此这种模式可能不适合频繁提交大量短作业的场景。
• 在提交 Flink 作业之前，请确保 Flink 配置文件（如 flink-conf.yaml）和 YARN 配置文件（如 yarn-site.xml）已经正确设置，并且 Flink 集群和 YARN 集群之间的网络连接是通畅的。

3、应用模式（Application Mode）

应用模式（Application Mode）是一种执行模式，它允许用户将 Flink 作业作为一个独立的 YARN 应用程序或 Kubernetes Pod 提交。在这种模式下，Flink 作业的生命周期与其所在的 YARN 应用程序或 Kubernetes Pod 的生命周期相同，一旦作业执行完毕，相应的 YARN 应用程序或 Kubernetes Pod 也会被终止，从而释放资源。
提交 Flink 作业到 YARN
使用 Flink 的命令行工具提交 Flink 作业到 YARN，并指定使用应用模式。命令的基本格式如下：

./bin/flink run-application -t yarn-application --yarnconf <yarn-conf-dir> --conf <flink-conf-dir> /path/to/your/flink-application.jar

在这个命令中：

• run-application 表示要运行的是一个 Flink 应用程序。
• -t yarn-application 指定了使用 YARN 应用程序模式来运行 Flink 应用程序。
• –yarnconf 指定 YARN 配置文件（如 yarn-site.xml）的目录。
• –conf 指定 Flink 配置文件（如 flink-conf.yaml）的目录。
• /path/to/your/flink-application.jar 是 Flink 应用程序的 JAR 文件路径。

注意事项：

• 应用模式提供了一种更加灵活和轻量级的部署方式，因为它允许将 Flink 作业作为一个独立的 YARN 应用程序或 Kubernetes Pod 提交。
• 在应用模式下，Flink 作业的生命周期与其所在的 YARN 应用程序或 Kubernetes Pod 的生命周期相同，因此无需担心手动管理 Flink 集群的生命周期。
• 在提交 Flink 作业之前，请确保 Flink 配置文件（如 flink-conf.yaml）和 YARN 配置文件（如 yarn-site.xml）已经正确设置，并且 Flink 集群和 YARN 集群之间的网络连接是通畅的。

4、YARN 模式

YARN（Yet Another Resource Negotiator）模式允许 Flink 作业在 Hadoop YARN 集群上运行。YARN 为 Flink 提供了动态资源管理和容错功能。
提交 Flink 作业到 YARN
使用 Flink 的命令行工具提交 Flink 作业到 YARN。命令的基本格式如下：

./bin/flink run -m yarn-cluster -yn <number-of-taskmanagers> -ys <slots-per-taskmanager> -yjm <jobmanager-memory> -ytm <taskmanager-memory> --yarnconf <yarn-conf-dir> --conf <flink-conf-dir> /path/to/your/flink-job.jar

在这个命令中：

• -m yarn-cluster 指定了 Flink 作业应该在 YARN 集群上运行。
• -yn 指定了 YARN 集群中 TaskManager 的数量。
• -ys 指定了每个 TaskManager 上的 slot 数量。
• -yjm 指定了 JobManager 的内存大小。
• -ytm 指定了每个 TaskManager 的内存大小。
• –yarnconf 指定 YARN 配置文件（如 yarn-site.xml）的目录。
• –conf 指定 Flink 配置文件（如 flink-conf.yaml）的目录。
• /path/to/your/flink-job.jar 是 Flink 应用程序的 JAR 文件路径。

注意事项：

• 确保 Flink 集群和 YARN 集群之间的网络连接是通畅的。
• 确保 Flink 的配置文件（如 flink-conf.yaml）和 YARN 的配置文件（如 yarn-site.xml）已经正确设置。
• 如果在提交 Flink 作业时遇到任何问题，请检查 Flink 和 YARN 的日志文件以获取更多信息。
• YARN 模式允许动态地管理 Flink 集群的资源，可以根据作业的需求调整 TaskManager 的数量和内存大小。

5、Kubernetes 模式

Kubernetes 模式允许将 Flink 作业部署到 Kubernetes 集群上。Kubernetes 提供了一个强大的容器编排平台，可以帮助自动化 Flink 作业的部署、扩展和管理。

1. 配置 Flink Kubernetes 集成
   在 Flink 的配置文件（flink-conf.yaml）中，需要设置一些与 Kubernetes 相关的参数。以下是一些常用的配置：

# Flink 配置文件的 Kubernetes 相关部分  
kubernetes.cluster-id: <your-cluster-id>       # 集群 ID，可以自定义  
kubernetes.namespace: <your-namespace>         # Kubernetes 命名空间  
kubernetes.rest-service.exposed.type: NodePort # 或者 LoadBalancer，取决于如何访问 Flink UI  
kubernetes.rest-service.exposed.node-port: <your-node-port> # 如果使用 NodePort，指定端口号  
kubernetes.jobmanager.service-account: <your-service-account> # 用于运行 Flink 作业的 Kubernetes 服务账户  
kubernetes.container.image: <flink-container-image> # Flink 容器镜像  
# ... 其他 Flink 配置 ...

3. 部署 Flink 作业到 Kubernetes
   使用 Flink 的 Kubernetes 集成部署 Flink 作业。这通常涉及以下几个步骤：

• 创建一个 Kubernetes 配置文件（如 flink-kubernetes-job.yaml），描述 Flink 作业的配置和部署细节。这个文件可以基于 Flink 提供的示例模板进行修改。
• 在配置文件中指定 Flink 作业 JAR 文件的路径（可以是本地文件、HDFS 路径、GCS 路径等）。
  使用 kubectl 命令将配置文件应用到 Kubernetes 集群中：

kubectl apply -f flink-kubernetes-job.yaml

或者，如果使用的是 Flink 的命令行工具，并且已经集成了 Kubernetes 支持，可以直接使用 Flink 的 run 命令来提交作业到 Kubernetes 集群：

./bin/flink run-application -t kubernetes-application --target kubernetes-namespace <your-namespace> --kubernetes-config-dir <path-to-flink-kubernetes-conf> /path/to/your/flink-job.jar

在这个命令中，需要指定 Flink 作业的 JAR 文件路径、Kubernetes 命名空间以及其他相关配置。

注意事项：

• 确保 Kubernetes 集群已经正确设置并运行。
• Flink 的 Kubernetes 集成需要一些特定的配置和设置，确保 flink-conf.yaml 文件和 Kubernetes 配置文件已经正确配置。
• Kubernetes 模式为 Flink 提供了强大的容器编排和扩展能力，可以根据作业的需求动态地调整 Flink 集群的大小和资源。