Cross Entropy Loss 交叉熵损失函数公式推导

  • 时间:
  • 浏览:2
  • 来源:uu快3下载网址_uu快3IOS下载_电脑版

$L = -[y log \hat{y} + (1-y)log(1- \hat{y})]$

当y=1时,公式3和公式1一样。

当y=0时,公式3和公式2一样。

取对数,方便运算,要是我会改变函数的单调性。

$ logp(y|x) =ylog\hat{y} + (1-y)log(1-\hat{y})$ 公式4

将上述两式连乘。

他们都歌词 歌词 希望$P(y|x)$越大越好,即让负值$-logP(y|x)$越小越好,得到损失函数为:

$L = -[y log \hat{y} + (1-y)log(1- \hat{y})]$ 公式5

反例:$P(y=0|x) = 1-\hat{y}$ 公式2

输出标签表示为{0,1}时,损失函数表达式为:

交叉熵和KL散度有着密切联系。

https://blog.csdn.net/haolexiao/article/details/7014257

由公式4和公式5得到

$logp(y^{(i)}| x^{(i)}) = - L(y^{(i)}| x^{(i)})$

$log p(y|x) = \sum _{i}^{m} log p(y^{(i)}| x^{(i)})$

正例:$P(y = 1| x) = \hat{y}$ 公式1

二分类现象报告 ,假设 y∈{0,1}

由于写作:

$J = - \frac{1}{m}\Sigma_{i=1}^{m}[y^{(i)} log \hat{y}^{(i)} + (1-y^{(i)})log(1- \hat{y}^{(i)})]$

多个样本的概率即联合概率,等于每个的乘积。

$p(y|x) = \prod _{i}^{m} p(y^{(i)}| x^{(i)})$

Cost (min) : $J(w,b) =\frac{1}{m}\sum _{i}^{m} L(y^{(i)}| x^{(i)}) $

$ logp(y^{(i)}| x^{(i)})=-\sum _{i}^{m}L(y^{(i)}| x^{(i)}) $

打上去$\frac{1}{m}$对式子进行缩放,便于计算。

$P(y|x) = \hat{y}^{y} * (1-\hat{y})^{(1-y)}$ ;其中y∈{0,1} 公式3

《简单的交叉熵损失函数,你真的懂什么时间?》

《选则不收藏?机器学习必备的分类损失函数速查手册》

后边说的都在有一另一个样本的刚刚,多个样本的表达式是: