hbase预分区

一、原理

HBase在创建表时,默认会自动创建一个Region分区。在导入数据时,所有客户端都向这个Region写数据,直到这个Region足够大才进行切分。这样在大量数据并行写入时,容易引起单点负载过高,从而影响入库性能。一个好的方法是在建立HBase表时预先分配数个Region,这样写入数据时,会按照Region分区情况,在集群内做数据的负载均衡。

--自定义预分区的RowKey

hbase> create 't1', 'f1', SPLITS => ['10', '20', '30']

--使用文件内容预分区

hbase> create 't1', 'f1', SPLITS_FILE => 'splits.txt', OWNER => 'johndoe'

--使用内置的分区算法HexStringSplit

hbase> create 't1', 'f1', {NUMREGIONS => 3, SPLITALGO => 'HexStringSplit'}

--指定列族'info'使用'GZ'压缩

hbase> create 'pre', { NAME => 'info', COMPRESSION => 'GZ'}, {NUMREGIONS =>3, SPLITS => ['10', '20']}

相关推荐

  1. hbase分区

    2024-01-23 16:52:02       61 阅读
  2. hbase建表时设置分区

    2024-01-23 16:52:02       32 阅读
  3. hbase建表分区的2种方法

    2024-01-23 16:52:02       25 阅读
  4. <span style='color:red;'>hbase</span>

    hbase

    2024-01-23 16:52:02      39 阅读
  5. <span style='color:red;'>HBase</span>

    HBase

    2024-01-23 16:52:02      45 阅读
  6. <span style='color:red;'>Hbase</span>

    Hbase

    2024-01-23 16:52:02      39 阅读
  7. <span style='color:red;'>HBase</span>

    HBase

    2024-01-23 16:52:02      24 阅读
  8. YCSB 测试表分区

    2024-01-23 16:52:02       56 阅读
  9. Flink源码分析 | 读取HBase配置

    2024-01-23 16:52:02       75 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-23 16:52:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-23 16:52:02       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-23 16:52:02       82 阅读
  4. Python语言-面向对象

    2024-01-23 16:52:02       91 阅读

热门阅读

  1. 22. 离线MC强化学习算法(1)

    2024-01-23 16:52:02       50 阅读
  2. FastApi-异常处理(6)

    2024-01-23 16:52:02       52 阅读
  3. fbx转换bvh python代码

    2024-01-23 16:52:02       56 阅读
  4. 【Docker】Docker学习⑤ - Docker数据管理

    2024-01-23 16:52:02       47 阅读
  5. 数据库建模

    2024-01-23 16:52:02       65 阅读
  6. C# 判断文件路径的后缀是否是某个后缀

    2024-01-23 16:52:02       70 阅读
  7. 怎么调试开关电源?具体方法是什么?

    2024-01-23 16:52:02       59 阅读