目录
lasso回归 - 梯度下降(在线性回归后加上L1正则项-解决过拟合问题)
岭回归、lasso回归和elastic net三种正则化方法
知识储备
拟合
(一): 过拟合与欠拟合
机器学习中一个重要的话题便是模型的泛化能力,泛化能力强的模型才是好模型,对于训练好的模型,若在训练集表现差,不必说在测试集表现同样会很差,这可能是欠拟合导致;若模型在训练集表现非常好,却在测试集上差强人意,则这便是过拟合导致的; 过拟合与欠拟合也可以用 Bias 与 Variance 的角度来解释,欠拟合会导致高 Bias; 过拟合会导致高 Variance ,所以模型需要在 Bias 与 Variance 之间做出一个权衡
Bias 即为模型的期望输出与其真实输出之间的差异;
Variance 刻画了不同训练集得到的模型的输出与这些模型期望输出的差异。
一般在模型效果差的第一个想法是增多数据,其实增多数据并不一定会有更好的结果,因为欠拟合时增多数据往往导致效果更差,而过拟合时增多数据会导致 Gap 的减小,效果不会好太多,所以当模型效果很差时,应该检查模型是否处于欠拟合或者过拟合的状态,而不要一味的增多数据量,关于过拟合与欠拟合