Apache Doris的分区与分桶原理解析

介绍

在 Apache Doris 中,“分区”和“分桶”是两种用于管理和优化数据的技术,分别解决不同的数据存储和查询优化问题。

在 Doris 中,数据都以表(Table)的形式进行逻辑上的描述。
Row & Column

一张表包括行(Row)和列(Column):

Row:即用户的一行数据;
Column:用于描述一行数据中不同的字段;
Column 可以分为两大类:Key 和 Value。从业务角度看,Key 和 Value 可以分别对应维度列和指标列。Doris 的 key 列是建表语句中指定的列,建表语句中的关键字’unique key’或’aggregate key’或’duplicate key’后面的列就是 key 列,除了 key 列剩下的就是 value 列。从聚合模型的角度来说,Key 列相同的行,会聚合成一行。其中 Value 列的聚合方式由用户在建表时指定。关于更多聚合模型的介绍,可以参阅 Doris 数据模型。

分区和分桶

Doris 支持两层的数据划分。第一层是分区(Partition),支持 Range 和 List 的划分方式。第二层是 Bucket(Tablet),支持 Hash 和 Random 的划分方式。建表时如果不建立分区,此时 Doris 会生成一个默认的分区,对用户是透明的。使用默认分区时,只支持 Bucket 划分。

在 Doris 的存储引擎中,用户数据被水平划分为若干个数据分片(Tablet,也称作数据分桶

相关推荐

  1. Apache Doris分区理解

    2024-07-10 16:16:03       17 阅读
  2. instanceof理解

    2024-07-10 16:16:03       49 阅读
  3. MongoDB理解

    2024-07-10 16:16:03       38 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-10 16:16:03       66 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-10 16:16:03       70 阅读
  3. 在Django里面运行非项目文件

    2024-07-10 16:16:03       57 阅读
  4. Python语言-面向对象

    2024-07-10 16:16:03       68 阅读

热门阅读

  1. Stream流的简单用法

    2024-07-10 16:16:03       31 阅读
  2. liunx上修改Firefox版本号

    2024-07-10 16:16:03       20 阅读
  3. PS设计新手如何学习?沈阳PS设计线下培训

    2024-07-10 16:16:03       22 阅读
  4. 深度学习进阶

    2024-07-10 16:16:03       20 阅读
  5. 提示学习的本质是KNN

    2024-07-10 16:16:03       22 阅读
  6. Tomcat

    Tomcat

    2024-07-10 16:16:03      19 阅读
  7. pytorch 源码阅读(1)——torch.complie

    2024-07-10 16:16:03       20 阅读
  8. weapp.socket.io.js

    2024-07-10 16:16:03       15 阅读
  9. 内网和外网的区别及应用

    2024-07-10 16:16:03       24 阅读
  10. Symfony Monorepo:一站式开发的艺术与实践

    2024-07-10 16:16:03       23 阅读
  11. Docker 深度分析与选型指南

    2024-07-10 16:16:03       28 阅读
  12. 深度学习 - 模型剪枝技术详解

    2024-07-10 16:16:03       22 阅读
  13. 基于单片机的火灾自动报警器研究

    2024-07-10 16:16:03       24 阅读