SparkSQL数据清洗API
但是在大数据整个生产过程中，需要先对数据进行数据清洗，将杂乱无章的数据整理为符合后面处理要求的规整数据，spark提供了一些api方便我们进行数据清洗
1. 去重方法dropDuplicates()
功能：对DF的数据进行去重，如果重复数据有多条，取第一条
- 去重API dropDuplicates,无参数时是对数据进行整体去重
df.dropDuplicate().show() - API同样可以针对字段进行去重，如下传入age字段，表示只要年龄一样就认为你是重复数据，传入age和job表示结合年龄和job来去重
df.dropDuplicates([‘age’, ‘job’]).show()
2. 缺失值处理dropna()
def dropna(self,how=‘any’,thresh=None,subset=None):
返回的市一个没有(指定)空值的dataFrame
param how:'any’or ‘all’，如果参数为any（默认any），那么只要df一行包含空值，就会被去除，如果是all,只会把一行都为空的去除。
param thresh:int,default None
表示这一行的数据有效的（非空）的数据必须达到该参数设定的阈值，如果没达到，那么就删除该行数据
param subset:指定列对缺失值判断，该列缺失则删除该行数据
需要注意的是，如果我们结合thres和subset，意义并不是二者的叠加，而是在指定的subset中，列数要达到thres阈值，而不是任意的列数非空达到阈值和保存subset指定的列
df.dropna(thres=2, [‘name’, ‘age’])
标识’name’和’age’列至少两列都不为空才保留
3. 缺失值填充fillna()
- 如果不指定列，默认把所有空值都填充为指定数据
df.fillna(“N/A”) - 如果指定列，则填充指定列的空值
df.fillna(“N/A”, subset=[‘job’]) - 想要指定多个列不同的填充内容，可以定义一个字典，根据字典对应的值来填充
df.fillna({“name”: “N/A”, “age”: 0})
