过拟合与欠拟合
过拟合有较为明显的对比可以判断,但欠拟合却是不容易判断的。
训练集效果很好,测试集效果变差,在保证训练集与测试集样本分布一致的情况下,很容易得出过拟合的结论。
欠拟合不太容易通过这种直接的对比来判断。
学习曲线
Validation Curve
一个良好的模型是拥有好的泛化能力。为了评估模型,我们需要一个metric,也就是一个scoring function,比如accuracy,precision。选择多个超参数的方法有GridSearchCV或RandomiedSearchCV,但是在选择的超参数是基于validation set的上得分。如果我们是根据validation set上的得分来优化超参数,则验证分数会有偏差,就不再是对泛化能力的良好估计。理论上,为了得到对泛化能力的正确估计,必须在另一个测试集上计算得分。
然而,有时候绘制单个超参数的training score和validation score可以判断模型的状态,是过拟合还欠拟合。
如下图,是使用SVC手写数字识别的多分类问题,横坐标代表超参数gamma的大小,y代表得分,分别有training score和cross-validation score。根据位置来判断:A、B代表欠拟合,C代表正好,D代表过拟合。