大数据处理系统的架构介绍
Lamdba架构
Lambda 架构是一种用于处理大规模数据的设计模式，旨在结合批处理和实时处理，以应对对大量数据进行高效处理的需求。Lambda 架构的核心思想是将数据处理流程分为批处理层和实时处理层，并将它们整合在一起，以获得高可扩展性和灵活性。
Lambda 架构的主要组成部分包括：
批处理层（Batch Layer）：
- 存储： 使用分布式存储系统（如 Apache Hadoop HDFS）存储原始数据。
- 处理： 批处理层采用批处理引擎（如 Apache MapReduce、Apache Spark）对原始数据进行离线处理和分析。
- 目的： 生成离线批处理视图，以支持全面的数据分析和查询。
实时处理层（Speed Layer）：
- 存储： 使用分布式实时数据库（如 Apache HBase、Cassandra）存储实时数据流。
- 处理： 实时处理层采用流处理引擎（如 Apache Storm、Apache Flink）对实时数据进行流式处理。
- 目的： 提供低延迟的、近实时的数据处理，以支持实时查询和分析。
服务层（Serving Layer）：
- 存储： 使用分布式数据库或索引（如 Apache HBase、Cassandra、Elasticsearch）存储批处理层和实时处理层的计算结果。
- 处理： 在服务层上建立查询服务，以支持用户查询和应用程序查询。
- 目的： 提供查询接口，使用户能够检索批处理和实时处理的结果。
Lambda 架构的优势包括：
- 综合处理： 结合了批处理和实时处理，可以满足广泛的数据处理需求，从离线分析到实时查询。
- 容错性： 由于数据处理被分为两个层次，即使在实时层发生故障时，批处理层的结果仍然可用，反之亦然。
- 灵活性： 可以选择不同的技术栈用于批处理和实时处理，以适应不同的需求。
然而，Lambda 架构也面临一些挑战，如系统复杂性、维护成本以及对两个处理层之间一致性的管理。为了解决一致性问题，有时候会使用一个合并层（Merge Layer）来合并批处理和实时处理的结果。此外，近年来出现了一些替代模式，如 Kappa 架构，它更加强调使用流式处理引擎来处理所有数据。选择 Lambda 架构还是其他模式通常取决于具体的需求和系统设计的目标。
Lambda 架构的三个层次包括批处理层、加速层（实时处理层）和服务层。这三个层次协同工作，以实现全面、实时、低延迟的大数据处理和查询。以下是对每个层次的详细描述：
1. 批处理层（Batch Layer）：
存储： 批处理层使用分布式存储系统（如 Apache Hadoop HDFS）来存储原始数据。这些数据以不可变（immutable）的方式存储，新的批处理任务生成的结果会追加到存储系统中。
处理： 批处理层采用批处理引擎（如 Apache MapReduce、Apache Spark）来执行离线的、全面的数据处理和分析。这些任务可以包括数据清洗、转换、计算聚合指标等。由于数据在这一层是不可变的，每次处理都会生成新的数据集，而不会修改原始数据。
目的： 主要目标是生成离线批处理视图，这些视图包含经过处理和计算的数据结果，以支持全面的数据分析和查询。由于处理是离线的，可能需要一定的时间间隔来生成和更新这些批处理视图。
2. 加速层（实时处理层，Speed Layer）：
存储： 加速层使用分布式实时数据库（如 Apache HBase、Cassandra）来存储实时数据流。这些存储系统具有低延迟、高吞吐量的特性，支持实时写入和读取。
处理： 加速层采用流处理引擎（如 Apache Storm、Apache Flink）来处理实时数据流。流处理引擎允许在数据到达时立即进行处理和计算，以提供低延迟的实时数据处理。
目的： 提供低延迟的、近实时的数据处理和计算。加速层的结果可以用于实时查询、监控、仪表盘等实时应用场景。由于流处理是实时的，因此可以更快地响应数据变化。
3. 服务层（Serving Layer）：
存储： 服务层使用分布式数据库或索引（如 Apache HBase、Cassandra、Elasticsearch）存储批处理层和实时处理层的计算结果。这些存储系统通常用于支持快速查询和检索。
处理： 在服务层上建立查询服务，以支持用户查询和应用程序查询。查询服务可以通过接口提供数据查询功能，并从批处理层和实时处理层的结果中检索数据。
目的： 提供查询接口，使用户能够检索批处理和实时处理的结果。服务层充当用户与 Lambda 架构的交互点，为用户提供全面的数据查询能力。
</
