Spark课程(web：默认值是8080，但是这个端口号容易被占用，顺势+1；提交任务端口号：7077)
一、RDD
RDD是spark最底层的核心抽象，叫做弹性分布式数据集。
特点：不可变，可分区，里面的元素可以并行计算的集合。
二、lineage（血统）
RDD与RDD之间的依赖关系，依赖的就是血统。
三、DAG有向无环图
本质上描述的就是RDD的执行流程。
一个appliction=一到多张DAG有向无环图
从创建第一个RDD开始，到遇到第一个action算子结束，形成一张DAG有向无环图。
一个application当中具体有几张DAG有向无环图， 取决于有几个action执行算子。
四、依赖关系
在spark当中，依赖关系分为两类：一类是窄依赖（NarrowDependency）；一类叫做宽依赖（ShuffleDependency）。
窄依赖：父RDD当中的一个分区只能被子RDD当中的一个分区所依赖。类似于独生子女。
宽依赖：父RDD当中的一个分区会被子RDD当中的多个分区所依赖。类似于超生子女。
五、代码当中的本地模式
local:表示本地开启一个线程模拟集群运行。
local[N]:N代表的是一个具体的数，表示本地开始N个线程模拟集群运行。
local[*]:表示本地有多大资源就用多大资源去模拟运行。
六、函数式编程算子
map：映射。针对列表当中的每一个元素进行操作，操作完成后返回一个新的列表，操作之前是多少个元素，操作之后还是多少个元素，不会增加，不会减少。
七、分区方式
spark当中一共有两种分区方式：一种是hash，一种是range。
非key，value对的数据分区方式为None；key，value对的数据分区方式默认也为None，但是可以指定分区方式。
八、yarn模式
spark搭建yarn模式一共有两种：一种是yarn on client模式；一种是yarn on cluster模式
yarn on client：driver运行在当前节点。一般学习测试使用，容易造成网络流量激增的问题。
yarn on cluster：driver运行在集群当中某一台节点上，一般生产环境使用，不会造成网络流量激增的问题。
九、stage划分
根据RDD的执行流程构建DAG有向无环图，构建好后，采用回溯方法，从后往前推，遇到窄依赖包含到当前stage中，遇到宽依赖断开形成stage。
十、名词解释
一个DAG有向无环图=一个Job
一个DAG有向无环图=一到多个stage
一个stage=一个taskSet
一个taskSet=多个task
一个Driver=一个main函数+SparkContext程序入口
十一、RDD算子分类
RDD算子大体一共可以分为两类：一类叫Transformation（转换算子）；一类叫Action（执行算子）。
转换算子：惰性计算，只做连接不运算，只有遇到action执行算子才会运算。
执行算子：带动转换算子运算，并将结果输出或保存到指定地点。
十二、算子的区分
转换算子：返回值类型是RDD的就是转换算子。
执行算子：返回值类型不是RDD的就是执行算子。
