GBASE南大通用分享:clickhouse-Merge Tree原理解析

GBASE南大通用分享

MergeTree表引擎参数:

partition by:分区键

order by:排序键

primary key:主键

sample by:抽样表达式(如果使用此配置,主键配置也需要声明同样的表达式)

settings index_granularity:索引力度,默认值是8192,表示每隔8192行数据才生成一条索引

settings:index_granularity_bytes:根据每一批次写入数据的体量大小,动态划分间隔大小,默认为10M,设置为0表示不启动自适应功能

settings:enable_mixed_granularity_parts:设置是否开启自适应索引间隔的功能

settings:merge_with_ttl_timeout:数据ETL功能

settings:storage_policy:多路径的存储策略

一级索引:

稀疏索引

索引粒度:8192,通过index_granularity这个参数来实现

二级索引:

allow_experimental_data_skipping_indices

granularity:数据的粒度

index_granularity:聚合信息汇总的粒度

跳数索引类型:

minmax:记录了一段数据内的最小和最大极致

set:记录了声明字段或表达式的取值(唯一值,无重复),其中max_rows是一个阈值,表示在一个index_granularity内索引最多记录的数据行数,如果为0,表示无限制

ngrambf_v1:记录的是数据短语的布隆表过滤器,只支持string和fixedstring数据类型,完整形式(n,size_of_bloom_filter_in_bytes,number_of_hash_functions,random_seed)

n:token长度,依据n的长度将数据切割为token短语

size_of_bloom_filter_in_bytes:布隆过滤器的大小

number_of_hash_functions:布隆过滤器中使用hash函数的个数

random_seed:hash函数的随机种子

tokenbf_v1:是ngrambf_v1的变种,除了短语token的处理方法外,其他的一样。

查询压缩数据的统计信息:

clickhouse-compressor --stat < .bin(数据文件)

数据块的大小由min_compress_block_size(默认65536)与max_compress_block_size(默认1048576)参数指定

相关推荐

  1. GBASE通用分享clickhouse-Merge Tree理解

    2024-01-27 14:40:01       62 阅读
  2. GBASE通用技术分享 | 退出循环

    2024-01-27 14:40:01       46 阅读
  3. GBASE通用分享-mysql初始化命令

    2024-01-27 14:40:01       53 阅读
  4. GBASE通用分享-linux centos下安装dokuwiki

    2024-01-27 14:40:01       43 阅读
  5. GBASE通用读取数据库数据

    2024-01-27 14:40:01       51 阅读
  6. GBASE通用-CodeFirst 模式

    2024-01-27 14:40:01       54 阅读
  7. GBASE通用ExecuteReader 方法

    2024-01-27 14:40:01       54 阅读
  8. GBASE通用系统目录表

    2024-01-27 14:40:01       58 阅读
  9. GBASE通用ExecuteScalar 方法

    2024-01-27 14:40:01       61 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-01-27 14:40:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-01-27 14:40:01       100 阅读
  3. 在Django里面运行非项目文件

    2024-01-27 14:40:01       82 阅读
  4. Python语言-面向对象

    2024-01-27 14:40:01       91 阅读

热门阅读

  1. SpringMVC RESTful风格

    2024-01-27 14:40:01       56 阅读
  2. STL标准库(三)序列容器之list

    2024-01-27 14:40:01       58 阅读
  3. PMM深入研究:如何自定义配置和集成到外部grafana

    2024-01-27 14:40:01       53 阅读
  4. Unity 中的接口和继承

    2024-01-27 14:40:01       44 阅读
  5. Spring中的以Aware结尾的接口是做什么的?

    2024-01-27 14:40:01       49 阅读
  6. 数据结构与算法面试系列-01

    2024-01-27 14:40:01       51 阅读
  7. ASP.NET Core Web在CentOS中结合Nginx托管的部署

    2024-01-27 14:40:01       57 阅读
  8. CF1547F Array Stabilization (GCD version) 二分+ST表

    2024-01-27 14:40:01       60 阅读
  9. 【Linux】linux命令 参数 英文全称 方便记忆

    2024-01-27 14:40:01       51 阅读
  10. Base64加解密C语言版

    2024-01-27 14:40:01       35 阅读
  11. C语言中常见的控制流结构

    2024-01-27 14:40:01       60 阅读
  12. SpringTask定时任务

    2024-01-27 14:40:01       59 阅读