贝叶斯定理¶
Beta分布的推导¶
Beta分布和二项分布一样，都是针对n次独立重复的伯努利试验的分布，但是概念有所区别。
- 二项分布：已知抛硬币正面朝上概率为p，那么抛n次，正面朝上x次数（横轴值）的概率P（纵轴值）分布图
- Beta分布：已知抛了n次，正面朝上的次数为x次，该硬币实际正面朝上的概率p（横轴值）的概率密度函数，因此后续推导我们默认n和x为常数
概率密度函数
不同的p都有一个权重，权重越大，那么取到这个p的概率就越大。想象把它切成一条条的，p取到0-1中某个值的概率就是=这个值这一条的面积/所有的面积（就是1）。
\[
\begin{align}
P(p | x) &= \frac{P(x | p) \times P(p)}{P(x)} \\[10pt]
&= \frac{\left[\binom{n}{x} p^x (1-p)^{n-x}\right] \times 1}{\int_0^1 \binom{n}{x} p^x (1-p)^{n-x} dp} \\[10pt]
&= \frac{\binom{n}{x} p^x (1-p)^{n-x}}{\binom{n}{x} \int_0^1 p^x (1-p)^{n-x} dp} \\[10pt]
&= \frac{p^x (1-p)^{n-x}}{\int_0^1 p^x (1-p)^{n-x} dp} \\[10pt]
&= \frac{p^x (1-p)^{n-x}}{B(x+1, n-x+1)} \\[10pt]
&= \text{Beta}(x+1, n-x+1)
\end{align}
\]
- 第1-2行：\(P(p)\)就是概率密度函数，不过是先验的；\(P(x)\)在不同的概率下P不同，所以对所有可能的p做积分
- 第3-4行：常规操作，上下消掉常数
- 第5行：用B函数替换，注意B函数也是常数，这个也容易理解，因为对p积分的结果不会包含p
为什么一次性更新和分步更新结果相同？
首先需要知道决定是否相同的只有带有变量的部分（该问题中是分子），因为结果一定是一个概率密度图，常数部分仅仅只是用作归一化。
因为是独立试验，不存在分步之间的干扰，理论上就没有关系。为了更直观地理解，举个例子：第一步是\(x_1=1,n_1=1\)（一次正），得到的\(Beta(2,1)\)分子是\(p^1\)；第二步又做了个\(x_2=1,n_2=2\)（一正一反），分子是\(p(1-p)\)，相乘就是\(p^2(1-p)\)。如果我是一次性做自然就是\(x=x_1+x_2=2,n=3\)，分子也是\(p^2(1-p)\)。