吴恩达2022机器学习专项课程(一） 6.4 逻辑回归的简化成本函数

问题预览/关键词

1. 本节课内容
2. 逻辑回归的损失函数简化之后的形式是？
3. 为什么可以简化？
4. 成本函数的通用形式是？
5. 逻辑回归成本函数的最终形式是？
6. 逻辑回归为什么用对数损失函数计算成本函数？
7. 为什么不直接给出逻辑回归损失函数的最终形式？

笔记

本节课内容

简化逻辑回归的损失函数。

损失函数的简化形式

由分段函数合并成一个函数，两个公式是同一个意思。

为什么可以合成一个函数

• 如果y=1，代入公式，后面的计算为0，因此会得到原始分段的y=1的损失函数。
• 如果y=0，代入公式，前面的计算为0，因此会得到原始分段的y=0的损失函数。
• 因此，逻辑回归的损失函数可以写成一行，不用分两种情况考虑。

成本函数的通用形式

先计算损失函数的总和，然后除以m得到平均损失。

逻辑回归成本函数的最终形式

将简化的逻辑回归损失函数代入成本函数，获得逻辑回归成本函数的最终形式。

逻辑回归用对数损失函数计算成本函数？

逻辑回归的对数损失函数是统计学中的极大似然估计方法推导出来的，不做详细讨论。

没有直接给出最终形式

分段形式对于概念理解很有帮助，而最终合并的形式在实际的计算和编程实现中更为实用。

总结

分段写的损失函数完全等价于最终形式的损失函数，分段写的目的只是帮助理解模型预测的y，在面对不同真实的y损失的大小。当真实的y=1时，损失函数关注的是模型预测输出与1的接近程度。当真实的y=0时，损失函数关注的是模型预测输出与0的接近程度。