概率与统计 (分布、熵)

概率 统计 相关基本知识;

会学习写边补充。

0x01 分布

Logistic 分布

image-20210317202356514`

0x02 假设检验

0x03 相关概念

3-1 偏差(Bias)与方差(Variance)

  • 对于模型的集成学习来说
    • 偏差是指由有所采样得到的大小为m的训练数据集,训练出的所有模型的输出的平均值真实模型输出之间的偏差;
    • 方差是指有所有采样得到的大小为m的训练数据集,训练出的所有模型的输出的方差;

3-2 熵 相关

3-2-1 相对熵(KL散度)

image-20210314215320964

3-2-2 交叉熵 Cross entropy

image-20210314215500210