目录
TextInputFormat 示例
描述:
TextInputFormat是 Hadoop 中使用最广泛的输入格式之一，适用于纯文本文件。它将文件按行划分，把每一行的起始偏移量作为键（key），整行的文本作为值（value）。工作机制:
- 当
TextInputFormat用于读取文件时，它会将文件分割成一个个的分片（splits），分片的大小可以根据 Hadoop 的配置来设置。 - 每个分片的处理会尝试保持换行符的完整性，即使换行符跨越了两个不同的 HDFS 块。
- 如果一行数据恰好在两个分片的边界上，
TextInputFormat会处理这种边界情况，确保这一行数据被完整地读取。
- 当
使用场景:
- 适用于日志文件、CSV 文件等结构简单的文本数据处理。
- 例如，一个 Hadoop 作业可能读取一个大型文本文件，使用
TextInputFormat来统计文件中每个单词的出现次数。
SequenceFileInputFormat 示例
描述:
SequenceFileInputFormat是用于读取序列文件（SequenceFile）的输入格式。序列文件是一种平面文件（flat file）存储格式，由 Hadoop 提供，用于存储键值对。工作机制:
- 序列文件由一系列的二进制键值对组成，并且可以被压缩。
SequenceFileInputFormat会读取序列文件并生成分片，每个分片包含一系列的键值对。- 由于序列文件内部有同步点（sync points），
SequenceFileInputFormat可以快速找到分片的起始点，即使它们在文件的中间。
使用场景:
- 适用于需要高效读写的二进制格式数据处理。
- 常用于作为 MapReduce 任务间的中间数据格式，或者存储经常需要读写的数据。
- 例如，一个 MapReduce 作业可能产生了大量的中间结果数据，使用
SequenceFileInputFormat可以高效地将这些数据写入 HDFS，供后续作业读取。
总结
TextInputFormat 和 SequenceFileInputFormat 是 Hadoop 中常见的两种输入格式，分别适用于处理文本数据和二进制数据。它们都能够处理大文件的分片，并且保证数据的完整性。在 MapReduce 编程模型中，选择合适的输入格式对于作业的性能和可靠性至关重要。
