机器学习复习（7）——损失函数

2024-02-01 06:28:05
开发
46

交叉熵损失函数

交叉熵损失函数是深度学习中常用的一种损失函数，特别是在分类问题中。它衡量的是模型预测的概率分布与真实标签的概率分布之间的差异。下面是交叉熵损失函数的推导过程:
1. 概率模型：在分类问题中，假设有一个模型预测出类别 $i$ 的概率为 $p_i$ 。真实情况下，如果样本属于类别 $i$ 则这个类别的真实概率 $y_i$ 为1，
其它类别的 $y_j$ 为0。
2 似然函数：对于单个样本，其似然函数表示为模型预测正确的概率，即 $L=\prod_{i=1}^Cp_i^{y_i}$ 。

其中 $C$ 是类别的总数。对于属于类别 $i$ 的样本，这个似然函数简化为 $L=p_i$ 。

3.对数似然：为了便于计算，通常对似然函数取对数，得到对数似然 $\log(L)=\sum_{i=1}^Cy_i\log(p_i)$ 。
4. 损失函数：在机器学习中，我们通常最小化损失函数，而不是最大化似然函数。因此，我们取对数似然的负值作为损失函数，即交叉熵损失函数： $H(y,p)=-\sum_{i=1}^Cy_i\log(p_i)$ 。

在二分类问题中，交叉熵损失函数可以进一步简化。如果我们有两个类别 $(C=2)$ ,并且用 $p$ 表示样本属于类别 1的概率 (因此样本属于类别 0 的概率为 $(1-p)$ , 则交叉熵损失函数为： $H(y,p)=-y\log(p)-(1-y)\log(1-p)$

原文地址:https://blog.csdn.net/xty123abc/article/details/135952247 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：https://www.suanlizi.com/kf/1752821074896228352.html 如若内容造成侵权/违法违规/事实不符，请联系《酸梨子》网邮箱：1419361763@qq.com进行投诉反馈，一经查实，立即删除！

阅读全部

机器学习复习（7）——损失函数

交叉熵损失函数

相关推荐

最近更新

热门阅读