Flink 2.0 状态管理存算分离架构演进

Flink 2.0 状态管理存算分离架构演进


在这里插入图片描述
首先简单来说一下,flink2.0做存算分离,最最主要的一点是解决,大状态的问题,例如一个超过50T的物流数据,大状态恢复可能就要1天,所以才有存算分离这么一个设计初衷。

下面先来看一下 任务是怎么执行提交的,看一下state在整个流程里 处于一个什么位置
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在当前容器化的常见用法,任务在启动起来以后,本地盘的大小已经固定了,现在如果用单pod跑,如果本地盘满了,基本只有扩并发一个办法。

在这里插入图片描述

相关推荐

  1. Flink State 状态管理

    2024-01-13 06:54:01       46 阅读
  2. flink学习-状态管理

    2024-01-13 06:54:01       29 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-13 06:54:01       98 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-13 06:54:01       106 阅读
  3. 在Django里面运行非项目文件

    2024-01-13 06:54:01       87 阅读
  4. Python语言-面向对象

    2024-01-13 06:54:01       96 阅读

热门阅读

  1. django校验token自定义中间件

    2024-01-13 06:54:01       52 阅读
  2. 如何在 Ubuntu 20.04 上安装 Apache Kafka

    2024-01-13 06:54:01       46 阅读
  3. 分布式系统架构1

    2024-01-13 06:54:01       60 阅读
  4. 使用Spring Boot和Apache HttpClient构建REST客户端

    2024-01-13 06:54:01       57 阅读
  5. MVC设计模式

    2024-01-13 06:54:01       57 阅读
  6. 树莓派 gpio 安装及简单使用

    2024-01-13 06:54:01       72 阅读
  7. Seata 以 Nacos 为注册中心启动

    2024-01-13 06:54:01       68 阅读
  8. 【算法题】49. 字母异位词分组

    2024-01-13 06:54:01       58 阅读
  9. 服务优雅停机SpringBoot

    2024-01-13 06:54:01       60 阅读