概率与统计 (分布、熵)

概率 统计 相关基本知识;

会学习写边补充。

0x01 分布

Logistic 分布

image-20210317202356514`

0x02 假设检验

0x03 相关概念

3-1 偏差(Bias)与方差(Variance)

  • 对于模型的集成学习来说
    • 偏差是指由有所采样得到的大小为m的训练数据集,训练出的所有模型的输出的平均值真实模型输出之间的偏差;
    • 方差是指有所有采样得到的大小为m的训练数据集,训练出的所有模型的输出的方差;

3-2 熵 相关 (详细请参考[从sigmoid,softmax,到交叉熵,到focal-loss](https://dyngq.top/2020/09/21/20200921-%E4%BB%8Esigmoid%EF%BC%8Csoftmax%EF%BC%8C%E5%88%B0%E4%BA%A4%E5%8F%89%E7%86%B5%EF%BC%8C%E5%88%B0focal-loss/)

3-2-1 相对熵(KL散度)

image-20210314215320964

3-2-2 交叉熵 Cross entropy

image-20210314215500210