【Trick】机器学习技术路线

基础组成

1. 感知机（Perceptron）与多层感知机（Multi-layer Perceptron）
● 完全理解感知机和多层感知机
● 理解感知接构成的神经网络
● 通用近似定理（Universal approximation theorem）
● 神经网络如何学习：反向传播算法（Backpropagation）
● 梯度消失或梯度爆炸的问题
2. 卷积神经网络（Convolutional Neural Networks）
● 卷积的运算形式
● 卷积核如何学习
● 卷积层的个数，卷积核的大小，步长，填充，池化层的类型对结果的影响
3. 优化（Optimization）
● 随机梯度下降（stochastic gradient descent）
● 动量（momentum），Nesterov动量
● 自适应方法：RMSprop，Adam等
● 缓解过拟合的技巧：数据增强（Data augmentation），正则化（Regularization），dropout，batch normalization。
4. 激活函数（Actication Function）
● Sigmoid，Tanh，ReLU，EReLU，LeakyReLU，Softmax，Softplus等
● 为什么需要在神经网络中添加激活函数？

经典网络结构

1. 循环神经网络（Recurrent Neural Network）
2. 长短期记忆网络（Long-short Term Memory）
3. Alex架构（Alexnet Architecture）
4. 残差神经网络（ResNet）
5. 图卷积网络（Graph Convolution Networks）
6. 自注意力模型（Transformer）

监督学习

1. K近邻算法（K-nearest Neighbors）
● K近邻一般考虑的是欧式距离，可以尝试使用曼哈顿距离，余弦相似度等
● K近邻的k如何选择（参考训练流程中的超参数寻找）
● K近邻算法的优缺点，比如它的计算复杂度，对噪声数据的敏感性等
from sklearn.neighbors import KNeighborsClassifier
2. 决策树（Decision Tree）
● 理解经典了信息增益方法
● 了解其他的划分准则，比如基尼指数，最小二乘误差等
● 决策树的剪枝方法，比如预剪枝，后剪枝等，以及如何避免过拟合的问题。
from sklearn.tree import DecisionTreeClassifier
3. 集成学习（Ensemble Learning）
● 投票法等朴素方法（比如Bagging，Boosting，Stacking等）
● 主要学习AdaBoost方法和随机森林（Random Forest）方法
● 集成学习的理论基础，偏差-方差（Bias-Variance），泛化误差界等
from sklearn.ensemble import AdaBoostClassifier, RandomForestClassifier
4. 支撑向量机（Support Vector Machine）
● 不同的损失函数，比如hinge loss，squared hinge loss，logistic loss等
● 使用了核技巧（kernel trick）的支撑向量机。最好可以根据这个理解以下的东西
  ○ 凸优化问题
  ○ 拉格朗日乘数法（Lagrange multiplier）
  ○ 对偶函数（Dual function）
from sklearn.svm import SVC
同时尝试使用不同的核函数（线性核、高斯核与多项式核），看分类的效果。
5. 朴素贝叶斯（Naive Bayes）
● 为什么称之为“朴素”贝叶斯？
● 用不同的概率模型建模，用极大似然估计求解，比如高斯概率模型、多项式概率模型和伯努利概率模型等
from sklearn.naive_bayes import GaussianNB
6. 线性回归（Linear Regression）
● 最小二乘法
● Ridge Regression和Lasso Regression
● Logistic Regression
● 不同的正则化方法，比如L1正则化，L2正则化等。
7. 线性/二次判别分析（Linear/Quadratic Discriminant Analysis）
● LDA和QDA的区别
● 思考QDA与朴素贝叶斯中Gaussian概率模型的关系
● 尝试不同的协方差矩阵估计方法
from sklearn.discriminant_analysis import QuadraticDiscriminantAnalysis
8. 高斯过程分类/回归（Gaussian Process Classification/Regression）
● 不同的核函数，比如线性核，高斯核，多项式核，周期核等
from sklearn.gaussian_process import GaussianProcessClassifier, GaussianProcessRegressor
9. 指标（Metric）
● 了解监督学习通常用哪些指标衡量，比如准确率，精确率，召回率，F1值，AUC，均方误差等
● 对于重复实验，最后不同模型之间的比较，比如$t$-test
10. 训练流程
● 监督学习如何构造训练集
● 监督学习如何寻找超参数（比如cross validation，grid search）

无监督学习

1. K均值算法（K-means）
● 无监督的聚类方法，可以比较一些其他的聚类方法
from sklearn.cluster import KMeans
2. 分解（Decomposition）
● 主成分分析（Principal component analysis）
● 奇异值分解（Singular Value Decomposition）
● PCA和SVD之间的联系
from sklearn.decomposition import PCA, TruncatedSVD
3. 指标（Metric）
了解无监督学习通常用哪些指标衡量，比如轮廓系数，Calinski-Harabasz指数，戴维森-布尔丁指数，平均平方误差，重构误差等