从sigmoid,softmax,到交叉熵,到focal-loss

sigmoid,softmax;

交叉熵损失,样本不均衡的focalloss损失;

0x01 sigmoid

image-20210317205423645

求导

image-20210317205446308

0x02 softmax

image-20210317205508221

image-20210317205527163

求导,并且简单推导下只有一层hidden layer加softmax的多分类神经网络

x为输入,z为中间隐层神经元,a为最终输出结果

image-20210321175444430

损失函数

image-20210321180104828

对某个参数进行求导

image-20210321175515040

对于划线部分,分为两种情况

image-20210321180247838

softmax实质是将,最后一层的、数量与预测种类相同的神经元的输出,转化为概率

image-20210321164711451

0x03 Cross-Entropy与logsoftmax

先说LogSoftmax

image-20210317182903831

logsoftmax省了一个指数计算,省了一个除法,数值上相对稳定一些。

其实 Softmax_Cross_Entropy里面也是这么实现的。这也就引出了交叉熵softmax的关系。

cross-entropy 不是机器学习独有的概念,本质上是用来衡量两个概率分布的相似性的。

cross-entropy 公式为:

image-20210317205549767

其中预测概率q(k)就对应着softmax所输出的值,前边是log,所以,一般都直接采用logsoftmax节省计算。

P.S. 相对熵 KL散度

image-20210317205746072

0x04 Focal-Loss

何恺明 Kaiming 团队

交叉熵

image-20210319224143004

image-20210319224208761

image-20210319224234969

image-20210319224248148

image-20210319224301439

Appendix

师弟手绘 FUJUFILM

image-20210319212804699