大数据概论总结

 三次信息化浪潮 : 

信息技术的支撑 : 

存储设备容量不断增加

CPU的处理能力不断提高

网络带宽不断增加

数据产生方式的变革促成大数据时代的来临

1. 运营式系统阶段
2. 用户原创内容
3. 感知式系统阶段

大数据发展历程 : 

分为三个阶段 : 

大数据的概念 : 

1 . 数据量大 : 

• 根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律）。
• 人类在最近两年产生的数据量相当于之前产生的全部数据量
• 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍。

2 . 数据类型繁多

存储在关系型数据库中的结构化数据;

3 . 高处理速度

4 . 价值密度低,商业价值高

以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值。

大数据的影响

大数据的应用 : 

大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹。

大数据的关键技术 : 

包含4个层次 : 

其中最核心的两个技术层次 : 

1. 数据的存储与管理
2. 数据处理与分析

两大技术 : 

1. 分布式存储
2. 分布式处理

大数据的计算模式 : 

不同的计算模式要使用不同的处理技术(产品) : 

大数据计算模式及其代表产品 : 

大数据计算模式	解决问题	代表产品
批处理计算	针对大规模数据的批量处理	MapReduce、Spark等
流计算	针对流数据的实时计算	Storm、S4、Flume、Streams、Puma、DStream、Super Mario、银河流数据处理平台等
图计算	针对大规模图结构数据的处理	Pregel、GraphX、Giraph、PowerGraph、Hama、GoldenOrb等
查询分析计算	大规模数据的存储管理和查询分析	Dremel、Hive、Cassandra、Impala等

1 . 批处理

批处理主要解决针对大规模数据的批量计算，MapReduce是最具代表性的批处理技术;

spark对mapreduce进行了很多方面的优化 ;

批处理无法进行实时处理;

2 . 流计算 

实时计算

3 . 图处理

解决图和网络数据的处理;

4 . 查询分析计算

针对超大规模的存储管理和查询分析;

大数据与云计算，物联网的关系

1.云计算

云计算实现了通过网络提供可伸缩的、廉价的分布式计算能力，用户只需要在具备网络接入条件的地方，就可以随时随地获得所需的各种IT资源。

大数据与云计算、物联网的关系大数据与云计算、物联网的关系

云计算关键技术 : 

包括虚拟化，分布式存储，分布式计算，多租户等

2.物联网

物联网是物物相连的互联网，是互联网的延伸，它利用局部网络或互联网等通信技术把传感器、控制器、机器、人员和物等通过新的方式联在一起，形成人与物、物与物相联，实现信息化和远程管理控制。

关键技术 : 

物联网中的关键技术包括识别和感知技术（二维码、RFID、传感器等）、网络与通信技术、数据挖掘与融合技术等。

3 . 关系

云计算、大数据和物联网代表了IT领域最新的技术发展趋势，三者既有区别又有联系。