Hadoop文件存储格式

1. TextFile

默认格式,存储方式为行存储,数据不做压缩,磁盘开销大,数据解析开销大。可结合 Gzip、Bzip2 使用(系统自动检查,执行查询时自动解压),但使用 这种方式,压缩后的文件不支持 split,Hive 不会对数据进行切分,从而无法对数据进行并行操作。并且在反序列化过程中,必须逐个字符判断是不是分隔符和行结束符,因此反序列化开销会比 SequenceFile 高几十倍 

2. SequenceFile

SequenceFile 是 Hadoop API 提供的一种二进制文件支持,存储方式为行存储,其具有使用方便、可分割、可压缩的特点。
SequenceFile 支持三种压缩选择:NONE,RECORD,BLOCK。Record 压缩率低,一般建议使用 BLOCK 压缩。
优势是文件和 hadoop api 中的 MapFile 是相互兼容的 。

3、RCFile

存储方式:数据按行分块,每块按列存储。结合了行存储和列存储的优点:
首先,RCFile 保证同一行的数据位于同一节点,因此元组重构的开销很低 ;
其次,像列存储一样,RCFile 能够利用列维度的数据压缩,并且能跳过不必要的列读取;

4、ORCFile(下文详细阐述)

存储方式:数据按行分块 每块按照列存储。
压缩快、快速列存取。
效率比 RCfile 高,是 RCfile 的改良版本。

5、Parquet

Parquet文件是以二进制方式存储的,所以是不可以直接读取的,文件中包括该文件的数据和元数据,因此Parquet格式文件是自解析的。
Apache Parquet 最初的设计动机是存储嵌套式数据,比如Protocolbuffer thrift json 等 将这类数据存储成列式格式以方便对其高效压缩和编码,且使用更少的IO操作取出需要的数据

总结:

相比 TEXTFILE 和 SEQUENCEFILE,RCFILE 由于列式存储方式,数据加载时性能消耗较大,但是具有较好的压缩比和查询响应。
数据仓库的特点是一次写入、多次读取,因此,整体来看,RCFILE 相比其余两种格式具有较明显的优势。

相关推荐

  1. Hadoop文件存储格式

    2024-06-07 10:20:04       8 阅读
  2. Hadoop集成对象存储和HDFS磁盘文件存储

    2024-06-07 10:20:04       41 阅读
  3. React|获取oss存储文件,并转为json格式

    2024-06-07 10:20:04       11 阅读
  4. 文件以指定格式存储~BMP~C的实现~FAT32格式

    2024-06-07 10:20:04       32 阅读
  5. Apache Hadoop 输入格式示例

    2024-06-07 10:20:04       13 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-06-07 10:20:04       14 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-06-07 10:20:04       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-06-07 10:20:04       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-06-07 10:20:04       18 阅读

热门阅读

  1. IDM的优势

    2024-06-07 10:20:04       8 阅读
  2. docker错误

    2024-06-07 10:20:04       6 阅读
  3. golang通道(chan)选择(select)与关闭(close)使用示例

    2024-06-07 10:20:04       8 阅读
  4. vue3中作用域插槽

    2024-06-07 10:20:04       8 阅读
  5. Stable Diffusion:多领域应用的创新引擎

    2024-06-07 10:20:04       9 阅读
  6. npm发布自己的插件包

    2024-06-07 10:20:04       8 阅读
  7. 从零手写实现 nginx-09-compress http 文件压缩

    2024-06-07 10:20:04       9 阅读
  8. 从零手写实现 nginx-10-sendfile 零拷贝 zero-copy

    2024-06-07 10:20:04       6 阅读
  9. 0.3 数字电视简介

    2024-06-07 10:20:04       8 阅读
  10. ubuntu使用 .deb 文件安装VScode

    2024-06-07 10:20:04       9 阅读