大数据004-hadoop002-数据

数据的存储和分析

单个硬盘存在读写的上限

如果有1TB的硬盘，传输速度100MB/s，需要2.5小时读完

多个硬盘同时读写

如果有100个硬盘，每个硬盘存储1%，读取完不到2分钟。
以上是一个数据，如果有很多个数据集，不但保证了效率，还避免了资源浪费。

多硬盘的问题

• 数据丢失
  • 最常见的做法：复制，对数据做冗余副本。
    • HDFS
• 分析结果的结合
  • 1个硬盘处理后要从其他99个硬盘中获取结果，结合使用。
  • Hadoop对此提出的模式为：MapReduce编程模型。
    • Map和reduce两部分组成。

Hadoop使用的处理模式

1. MapReduce编程模型

MapReduce编程模型基本是批处理系统，不适合实时。它的处理时间对比早期的数据处理分析，有了极大提升，但还是做不到秒级。通常需要几分钟或更多的时间，适合离线的使用场景。

2.第一个实时组件

HBase，使用HDFS作为底层存储的键值存储模型。

3.Hadoop2的YARN

Hadoop2中YARN（Yet Another Resource Negotiator）,它是一个集群资源管理系统。

4.其他

• 交互式SQL：
  • 利用MR（MapReduce）进行分发并使用一个分布式查询引擎，使在Hadoop中获取SQL查询低延迟响应的能力（比如hive）
• 迭代处理：
  • 例如机器学习中，自身具有迭代下，结果集保存在内存中比保存在硬盘中更高效。
• 流处理：
  • 例如Storm、Spark、Streaming等使在数据流上运行实时、分布式计算，并向Hadoop存储系统或外部系统发布结果。

Hadoop对比其他系统

1.关系数据库

效率对比

先提一下，限制速度的两个重要因素：

• 传输速度：受限于带宽。

• 硬盘寻址：磁头移动到特定硬盘位置进行读/写操作。

• 可以思考下，这两个因素哪个更容易提升？

结论

1. 如果数据访问模式中含有大量的硬盘寻址，对比流数据（取决于传输速率）模式必然会花费更长的时间。
2. 如果数据库只更新一小部分记录，关系数据库更有优势。
3. 如果数据库需要大量数据更新，MR更有优势（因为需要“排序/合并”来重建数据库）

MR适合一次写入、多次读取的数据应用场景，关系数据库更适合持续更新的场景。

数据集对比

另一个重要区别是数据集的结构化程度。

• 结果化数据：
  • 有既定格式的实体化数据。
• 半结构化数据：
  • 有格式，但经常被忽略，只能作为对数据结构的一般性知道。例如：电子表格，结构是单元格构成，但是单元格可以保存任何形式的数据。
• 非结构化数据
  • 没有特定格式，比如纯文本、图像数据。

MR以及Hadoop对于数据规模是线性伸缩的。如果数据量增加至原来的2倍，作业时间也需要2倍。如果集群规模也扩展为2倍，则作业时间与原来的一样。但SQL查询不具备该特性。

2.网格计算

高性能计算采用的方法一般是将作业进行拆分，分散到集群的各台机器上，这些机器访问存储区域网络（SAN）所组成的共享文件系统。如果节点访问的数据量比较庞大时，就会有计算节点因为网络带宽的瓶颈问题在等待数据。
Hadoop将数据存储在计算节点上，以实现数据的本地访问。
数据本地化是Hadoop处理数据的核心。并且通过显式网络拓扑结构保留网络带宽。

3.志愿计算

SETI@home项目，志愿者贡献自己计算机的CPU用于搜索外星生命。它和MR的区别在于，SETI@home需要的是计算能力而不是传输能力。

MR有三大设计目标：

1. 需要几分钟或几小时完成作业提供服务；
2. 运行在同一个内容有高速网络链接的数据中心内；
3. 数据中心内容的计算机都是可靠的、专门的硬件；