Flink 2.0 状态管理存算分离架构演进
首先简单来说一下,flink2.0做存算分离,最最主要的一点是解决,大状态的问题,例如一个超过50T的物流数据,大状态恢复可能就要1天,所以才有存算分离这么一个设计初衷。
下面先来看一下 任务是怎么执行提交的,看一下state在整个流程里 处于一个什么位置
在当前容器化的常见用法,任务在启动起来以后,本地盘的大小已经固定了,现在如果用单pod跑,如果本地盘满了,基本只有扩并发一个办法。
下面先来看一下 任务是怎么执行提交的,看一下state在整个流程里 处于一个什么位置
在当前容器化的常见用法,任务在启动起来以后,本地盘的大小已经固定了,现在如果用单pod跑,如果本地盘满了,基本只有扩并发一个办法。