貝氏定理 (4): Likelihood in Bayes Rule

筆者認為在貝氏定理的更新過程中發覺，最困難的部份是找出可能性 (Likelihood)！因為 Prior probability 還可以用 Base Rate 來找，但 Likelihood 就不能。所以，本篇文章就用來看看怎樣科學化地，從頻率算成可能性？

其中一個方法是： Likelihood Estimate using Binomial distribution。 

Photo by Joey Kyber from Pexels

Binomial Distribution:

用 n 次的獨立實驗總數，和得出的 k 結果的 combinations 組合數目， 剩以 p 機率可得 k 的成功結果 (number of successes in a sequence of n)，及 (1-p) 機率不可得 k 的失敗結果，來構成的二項分佈 (Binomial Distribution)。k 是 Binomial Distribution 的隨機數。 

Binomial Distribution 是適合在二元結果 (Yes/No) 世界內使用 (dichotomous results) ，例如：結果是 Head: Yes 、No；或結果是有病: Yes 或 No；或成功、失敗。

下面 Eq. (1) 公式的答案 P(K=k | p) ，就是說：在機率 p 下，做 n 次的獨立實驗，有 k 次結果的機率是多少？

例子 1：如果再做拋硬幣實驗，已知出現 Head 的機率 p。我想知道，拋 n 次的獨立實驗，得出 k 次 Head的機率 P(K=k | p) 是多少？ 這就是 Likelihood 可能性。

 

 

下面 Figure 1 展示了 probability function of Binomial distribution。可以看到 Binomial distribution 是 discrete distribution 離散分佈。而那 probability function 便是在 Eq.(1) 左側的 P(K=k) given different p。它是從一個 P(K=k) 的機率分佈 (probability distribution) 內找出相應 k 的 一個點，也是 Point estimate。

 

Figure 1. Probability function in Binomial distributions with different probabilities and number of independent experiment (p = 0.5, n = 20); (p = 0.7, n = 20); (p = 0.5, n = 40).

(Maplesoft, Binomial Distribution, https://fr.maplesoft.com/support/help/maple/view.aspx?path=MathApps/BinomialDistribution&L=F)

例子 2：跟例子 1 同一個硬幣，已知得出 Head 的機率 (e.g. p(H) = 0.3)。我想知道，再拋 10 次的獨立實驗，有幾多次會得出 Tail？ 

p(T) = 1 - p(H) = 1 - 0.3 = 0.7

Expectation Value of Tails, E(T):

E(T) = (0.7) (10) = 7 

答案是：7 次。

 

情境 1：

假設，一個硬幣拋 100 次，55 次得出 Head。

問題：這個硬幣是一個公平、兩邊均等的硬幣的可能性 (Likelihood) 有多高？

 

For a  Biased Coin  硬幣造假

• 資訊 1：擲 100 次，55 次得出 Head (H)，k = 55
• 資訊 2：有意製造它得出 Head 的機率：p =  0.55
• 假設 H1: 硬幣是兩邊不均等⇒ 硬幣是造假

From Eq. (1):

 

這個 P(K=55 H | p = 0.55) = 0.07999，這便是 H1 的 Likelihood。即：這個「硬幣是造假」假設的可能性。

 

 

For a Fair Coin 公平兩邊均等的硬幣：

• 資訊：一個公平兩邊均等的硬幣，應該得出 Head 的機率：p = 0.50，
• 結果：擲 100 次，得出 55 次得出 Head (H) ，k = 55
• 假設 Ho：硬幣是兩邊均等 ⇒ 硬幣是公平

From Eq. (1):

 

這個 P(K=55 H | p = 0.50) = 0.04876， 便是 H0 的 Likelihood，即：這個「硬幣是兩邊均等」假設的可能性。
             

 

計算 Likelihood Ratio (Bayes Factor) ：

 判斷：

雖然，證據顯示「H1: 硬幣是兩邊不均等」比「Ho: 硬幣是兩邊均等」大出 1.6 倍。但按 Bayes Factor < or = 3 顯示，證據支持這個「硬幣是造假」假設並不強烈，可能是軼事證據。

 

 

情境 2： 

改變硬幣的Head出現頻率至 65 次

• 資訊 1：擲 100 次，65 次得出 Head (H)，k = 65
• 資訊 2：得出 Head 的機率：p = 0.55
• 假設 H1: 硬幣是兩邊不均等

For a Biased coin：

 For a Fair Coin：

• 得出 Head 的機率：p = 0.50，
• 資訊 ：擲 100 次，得出 65 次得出 Head (H) ，k = 65 H
• 假設 Ho：硬幣是兩邊均等

Likelihood Ratio (Bayes Factor) ：

 

判斷：

從 Bayes Factor 12.26 可知：「H1: 硬幣是兩邊不均等」的可能性 (Likelihood) 比「Ho: 硬幣是兩邊均等」的可能性 (Likelihood)高出 12.26 倍。亦即是說，證據強烈顯示硬幣是造假。

結論

 硬幣擲 100 次，當 Head 出現 55 次時，這個支持「硬幣是造假」的假設證據並不強烈。但當 Head 出現 65 次時，證據強烈顯示支持「硬幣是造假」的假設。這兩個結果顯示了只需用以上的 Binomial Distribution 簡單計算，便可以計算 Likelihood Ratio (Bayes Factor) 。

如果嫌計算複雜，可用 online Binomial Distribution calculator：https://stattrek.com/online-calculator/binomial.aspx 

雖然，我們可以用 Freqentist 的客觀機率來作為 Likelihood，但更多情況，人只是會用主觀機率。

 

回答上面最初的問題：

這個硬幣是一個公平、兩邊均等的硬幣的可能性 (Likelihood) 有多高？

情境 1：

硬幣是「兩邊均等」比起「兩邊不均等」的可能性 (Likelihood) 是低出 1.6 倍。證據並不強烈，可能是軼事證據。

 

情境 2：

硬幣是「兩邊均等」比起「兩邊不均等」的可能性是低出 12.26 倍。證據強烈支持「硬幣是兩邊不均等」的假設。

要注意：

這個是可能性 (Likelihood) 不直接等同機率，因它可以大過  1。

貝氏定理的相關文章講述：

我的書架 | 思考的框架 (2a): 機率思考 - 貝氏思維 (Bayesian Thinking)

貝氏定理 (1): 理論 (Bayesian Theorem)

貝氏定理 (2): 應用例子

貝氏定理 (3): 貝氏因子 (Bayes Factor): 你的證據夠強嗎? 

貝氏定理 (5): 貝氏更新 (Bayesian Updating)

貝氏定理 (6): 貝氏網絡 (Bayesian Network)

貝氏定理 (7): 事後機率分布最大概似估計法 (Maximum a Posteriori Estimation, MAP)

貝氏定理 (8): 事前資訊質素的影響 (Prior Informativeness)

離散型機率分布: Bernoulli Distribution、Binomial Distribution、Poisson Distribution

 References

 Jeremy Orlo & Jonathan Bloom, MIT Open Course note: Maximum Likelihood Estimate, unknown year.

Alex Etz (2015), Understanding Bayes: A Look at the Likelihood, available from: https://alexanderetz.com/2015/04/15/understanding-bayes-a-look-at-the-likelihood/ (Accessed on 14 June 2021).

Maplesoft, Binomial Distribution, available from: https://fr.maplesoft.com/support/help/maple/view.aspx?path=MathApps/BinomialDistribution&L=F (Accessed on 15 Jun 2021).

 

=======================

免責聲明
本網頁屬個人網誌，一切言論純屬個人意見及經驗分享。本人無法保證在本網誌所提供的資料有關內容的真確性和完整性，包括但不限於任何錯誤、誤差、遺漏、或侵權性質、誹謗性質或虛假性質的信息或任何其他可導致冒犯或在其他方面引致發生任何追索或投訴的資料或遺漏，而導致之任何損失或損害，本人概不承擔任何有關法律責任。

版權聲明
本網誌的所有資料、圖像與相片、文本屬本人所有專屬財產，均受知識產權法例及權利（包括但不限於保護版權的法例）所保障。根據此法例及權利，任何未經授權使用的資料均屬侵權行為。在未經本人明確同意授權下，本網誌資料、圖像與相片、文本之全部或部份均不可被使用、複印、改編、修改、發表、儲存或以其他方式複製分發、發佈或向公眾提供、銷售、傳送該等版權作品作任何用途。

 © Copyright 2021 高山雪 Snow Hill. All rights reserved.