机器学习概述

1.什么是机器学习？

答：①机器学习是一门人工智能的科学，其主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。

②机器学习是对能通过经验自动改进计算机算法的研究。

---

2.机器学习的分类：

①按照学习策略分类

②按照学习方法分类

③按照学习方式分类（分为监督学习，无监督学习，强化学习）

④按照学习形式分类

⑤按照学习目标分类

---

3.什么是过拟合和欠拟合？

过拟合：过拟合往往是在模型学习能力过强的时候出现，由于模型学习能力过强，以至于连训练集单个样本自身的特点都能捕捉到，并将其认为是“一般规律”，从而导致泛化能力弱。

欠拟合：欠拟合往往是在模型学习能力较弱而数据复杂度较高的情况下出现，此时模型由于学习能力不足，无法学习到数据集中的“一般规律”，从而导致泛化能力弱。

---

4.什么是泛化能力？

答：泛化能力是指机器学习算法对新鲜样本的适应能力。

---

5.如何去解决过拟合和欠拟合？

答：

解决过拟合：

①在神经网络模型中可使用权值衰减的方法，即每次迭代过程中以某个小因子降低每个权值。

②选取合适的停止训练标准，使对机器的训练保持在合适的程度。

③保留验证数据集，对训练成果进行验证。

④获取额外数据进行交叉验证。

⑤正则化，即在进行目标函数或代价函数优化时，在目标函数或代价函数后面加上一个正则化项（惩罚项），一般有L1和L2正则化项等。

解决欠拟合：

①增加新特征。

②添加多项式特征。

③减少正则化参数。

④使用非线性模型，如核SVM，决策树，深度学习等模型。

⑤调整模型的容量。

⑥使用集成学习方法，如Bagging。将多个弱学习器Bagging。

---

6.欠拟合和过拟合的表现特征：

欠拟合主要表现为输出结果的高偏差，而过拟合主要表现在输出结果的高方差。

例如下图：

当训练集和测试集的误差收敛但却与期望精确度相差较大时，为高偏差。

当训练集和测试集的误差之间有很大的差距时，为高方差。

---

7.偏差与方差的定义：

偏差：偏差衡量了模型的预测值与真实值之间的偏离关系。

方差：方差描述的是训练数据在不同迭代阶段的训练模型中，预测值的变化波动情况（或称之为离散情况）