似然函数和贝叶斯定理

似然函数和贝叶斯定理

似然函数

  • 已知结果估计概率。
  1. 似然函数
  2. 极大似然估计
  • 如何理解似然函数,请看这个: 知乎回答:如何理解似然函数

  • 用其中的一句话概括就是:

  • p(x|θ)也是一个有着两个变量的函数。如果,你将θ设为常量,则你会得到一个概率函数(关于x的函数);如果,你将x设为常量你将得到似然函数(关于θ的函数)。

贝叶斯定理

  • 贝叶斯想解决的问题就是一个逆概率问题,正常情况已知有几个黑球几个红球来计算概率,而贝叶斯与之相反,贝叶斯想要通过往外抽球的结果来判断其中黑色球红色球的比例关系。
  • 用在实际问题上就比较好理解了,比如天气预测,你不知道天上有几个红球和黑球,只知道到目前为止抽过多少球是什么球,所以对于天气的预测其实就可以是一种逆概率问题。

  • 后验概率 = 先验概率 × 可能性函数

  • 可能性函数是指一个可以是先验概率更接近真实概率的一个调整因子

  • 如何理解贝叶斯定理,请看这个 :知乎文章:如何理解贝叶斯(本文下边很多思想都是来自这篇文章)

Part I : 生活中的贝叶斯

  • 贝叶斯的底层思想就是:
  • 如果我能掌握一个事情的全部信息,我当然能计算出一个客观概率(古典概率、正向概率)。
  • 可是生活中绝大多数决策面临的信息都是不全的,我们手中只有有限的信息。既然无法得到全面的信息,我们就在信息有限的情况下,尽可能做出一个好的预测。也就是,在主观判断的基础上,可以先估计一个值(先验概率),然后根据观察的新信息不断修正(可能性函数)。

  • 总结:

  • $P(A|B) = P(A)\times$调整因子

  • 计算B发生的条件下A发生的概率,它等于先出 P(A) 先验概率,后边加一个调整因子。

  • 调整因子 $= \frac{P(B|A)}{P(B)}$

  • $P(B) = P(B|A_{0})\times P(A_0) + P(B|A_1)\times P(A_1)$

Part II :贝叶斯与机器学习

  • 贝叶斯定理与人脑的工作机制很像,这也是为什么它能成为机器学习的基础。

  • 如果你仔细观察小孩学习新东西的这个能力,会发现,很多东西根本就是看一遍就会。比如我3岁的外甥,看了我做俯卧撑的动作,也做了一次这个动作,虽然动作不标准,但是也是有模有样。

  • 同样的,我告诉他一个新单词,他一开始并不知道这个词是什么意思,但是他可以根据当时的情景,先来个猜测(先验概率/主观判断)。一有机会,他就会在不同的场合说出这个词,然后观察你的反应。如果我告诉他用对了,他就会进一步记住这个词的意思,如果我告诉他用错了,他就会进行相应调整。(可能性函数/调整因子)。经过这样反复的猜测、试探、调整主观判断,就是贝叶斯定理思维的过程。

  • 同样的,我们成人也在用贝叶斯思维来做出决策。比如,你和女神在聊天的时候,如果对方说出“虽然”两个字,你大概就会猜测,对方后继九成的可能性会说出“但是”。我们的大脑看起来就好像是天生在用贝叶斯定理,即根据生活的经历有了主观判断(先验概率),然后根据搜集新的信息来修正(可能性函数/调整因子),最后做出高概率的预测(后验概率)。

Part III :贝叶斯是怎么样被训练的(train)

这是在这个暑假中需要学习和解决的问题