机器学习模型
数据 + 算法
算法
Clustering (聚类)，旨在将数据根据相似性进行分组，不需要事先知道每个组的具体定义或标签。简单地说就是把相似的东西分到一组（簇），聚类的时候，我们并不关心某一类是什么，我们需要实现的目标只是把相似的东西聚到一起。
因此，一个聚类算法通常只需要知道如何计算相似度就可以开始工作了，因此 clustering 通常并不需要使用训练数据进行学习，这在Machine Learning中被称作unsupervised learning (无监督学习)。
常用算法有 K-means、层次聚类、DBSCAN等。
Classification (分类)，是基于已知的标签将数据划分到预定义的类别中,对于一个classifier，通常需要你告诉它“这个东西被分为某某类”这样一些例子，理想情况下，一个 classifier 会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做supervised learning (监督学习)。
常用算法有 决策树、神经网络、支持向量机等。
数据标记 猫的图片 狗的图片
分类算法 已经知道数据有哪些类 性别 男 ，女 认为将数据按照男女分类
聚类算分 不知道数据有哪些，根据数据的相似度，将数据拆分成不同的类
数据挖掘的流程
加载数据
把需要的模型数据先计算出来
特征工程 提取数据特征，对特征数据进行清洗转化
数据的筛选和清洗
数据转化 类型转为 性别 男，女 ----> 1,0
特征交叉 性别/职业/收入 ---> 新特这 优质男性程序员 将多个特征值组合在一起
特征筛选 筛选和计算需求强关联的特征
特征清洗 空值处理，重复值处理
数据经过特征处理后会转为向量数据
模型训练
将特征工程的数据传递算法训练
模型评估
数据划分 100万 80万 训练 20万 评估
样本数据 训练模型
测试数据 评估模型
模型的上线部署
模型评估没有问题就可以上线部署
Spark实现机器学习
from pyspark.ml
ml模块包含
各类算法
分类算法,聚类,协调过滤....
特征处理方法
特征抽取,转化,选择...
管道
传递数据方法
持久化
保存数据
人工智能开发方向
数据挖掘 用户画像,推荐系统
自然语言处理 NLP 智能客服,智能助手
计算机视觉 CV 无人超市,智慧交通,视频广告
无人驾驶
人工智能,机器学习,深度学习关系
人工智能
机器学习 使用机器学习的算法实现人工智能的开发 ，需要人工提供数据，对数据进特征提取，让算法分析特征数据，寻找规律，预测未来变化
深度学习 利用神经网络自我学习，不需人为提取数据特征，自己分析数据的特征属性，然后找到规律
人工智能模型有哪些？
特征工程
需要安装numpy模块
pip install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple
I StringIndexer方法
将字符串数据转为数值,在算法模型训练需要用到的是数值
II VectorAssembler方法
特征交叉,将多个字段数据合并在一起,在算法计算时,是对组合特征进行分析
在进行算法模型训练时,必须将训练的特征数据组合在一起
III MinMaxScaler
特征缩放 将特征数据的比例调整在同一范围
根据需求选择
KMeans聚类算法
KMeans聚类：KMeans单词----K(K个聚类中心)+Means(根据均值迭代聚类中心)
K-Means算法的思想: 对给定的样本集，用欧氏距离(向量)作为衡量数据对象间相似度的指标，相似度与数据对象间的距离成反比，相似度越大，距离越小。
(标量 大小)
使用聚类的方式,将数据划分多份 人以类聚,物以群分
将数据转为向量,计算向量数据距离(欧式距离),向量距离越短,数据相似度越高,可以划分同一类
算法步骤：
1-首先随机选择K个聚类中心 有多少和聚类中心最后就会有多少个分类
2-计算每个样本点到达K个聚类中心的距离，如果距离比较紧直接划分为该类
3-迭代聚类中心，根据均值迭代聚类中心
4-直到聚类中心不在改变为止
得到K个聚类中心所代表的的K类
