貝氏定理 (5): 貝氏更新 (Bayesian Updating)
在不確定情況下，我們可以利用 Principle of Insufficient Reason 來先進行平均機率假設，即：把每個「假說 Hypothesis」 的 Prior Probability 假設為一樣的平均機率，再計算 Posterior Probability (事後機率分佈)。
如有 N 個假說 Hypothesis，它們各自的 Prior Probability 便假定為 1/N。然後把新資訊納入計算，把第一次計算出來，每個 Hypothesis 的 Posterior Probability 變成下次更新的 Prior Probability，再計算每個 Hypothesis 的新的 Posterior Probability。如此類推，一直更新。這就是「貝氏更新 (Bayesian Updating)」。
那就可以用 以下的 Eq. (1)，即是 <貝氏定理 (1): 理論 (Bayesian Theorem)> 的 Eq. (3) ，來計算：
where
P(Hi): Hypothesis i 的 Prior Probability 假說 i 的先驗機率（或稱事前機率）
P(D| Hi): Likelihood 似然率
P(D): 資科 Data 的 Probability
P(Hi | D): Hypothesis i 的 Posterior Probability 假說 i 的事後機率
在複合 multiple possibilities 的情況，我們可以先把分母 P(D) 計算出來：
如果當中有三個假說 H1 到 H3，P(D) 便是：
把 Eq. (3) 放回 Eq. (1)，便得出 Eq. (4):
如果情況只有 A、B；又或 A、非 A，那便是 <貝氏定理 (1): 理論 (Bayesian Theorem)> 的 Eq. (8)
==========================================
Example
一個很好的貝氏更新的例子：
有一隊神祕的歌唱組合，從未演出過，也沒有人知道關於這組合的事。我們只知道這組合是四人組合，當中有男有女。我們怎樣可以計算出男女數目的機率？
答案：
首先，我們要盡可能列出所有可能性，亦即「假說 Hypothesis」：
- H1: 一 男、三女
- H2: 二 男、二女
- H3: 三 男、一女
因為我們完全沒有 Prior Probability （先驗機率）或 Base Rate 的資料，那便要用 Principle of Insufficient Reason 來假設：三個 Hypothesis 的發生機率也一樣。用來作為 Prior Probability 來計算，即是：
第一個資訊 (D) 出現
現在，第一個成員出場的是男性。這就是我們第一個資訊 (D)。
要計算 P(D)，首先要計似然率 Likelihood ：
因為是男性，所以：
在 Hypothesis 1 - 3 的 男性 Likelihood 分別是:
根據 Eq. (3)，計算 P(D)：
跟著，用 Eq. (1) 或 Eq. (4)，計算每個 Hypothesis 的 Posterior Probability:
Sub Eq. (3) to Eq. (1):
每個 Hypothesis 的 Posterior Probability:
換言之，根據第一個資訊 （第一個成員出場的是男性），Bayesian updating 計算出來的 Posterior Probability：
H1 = 1/6
H2 = 2/6
H3 = 3/6
第二個資訊 (D) 出現
第二個資訊 (D)：是第二個成員出場的是女性。有了這個新資訊，Bayesian updating 可再進行。
現在，各個 Hypothesis 由上一個的 Posterior Probability 變成了現在的 Prior Probability：
因為今次是女性出場，所以：
在 Hypothesis 1 - 3 的女 性 的似然率Likelihood 分別是:
如上，計算 P(D)：
再計算每個 Hypothesis 的 Posterior Probability:
根據第二個資訊 （第二個成員出場的是女性），Bayesian updating 計算出來的 Posterior Probability：
H1 = 3/10
H2 = 4/10
H3 = 3/10
總結
經過這個例子，Bayesian updating 便可以清晰看到。以下的三個可能性 Hypothesis：
H1: 一 男、三女
H2: 二 男、二女
H3: 三 男、一女
- 它們的發生機率，是從一開始： H1 = 1/3; H2 = 1/3; H3 = 1/3；
- 在第一個資訊出現（男性出現）後，Bayesian update 更新到： H1 = 1/6; H2 = 2/6; H3 = 3/6；
- 有了第二個更新的資訊（女性出現），Bayesian update 再更新到： H1 = 3/10; H2 = 4/10; H3 = 3/10。在這時，Posterior Probability 是反映：(1st) 男性出現後，(2nd) 女性出現的資訊更新的各個 Hypothesis 的 Posterior Probability。
- See Table 1 below:
- 如果再有更加新的資訊出現，可再用 Bayesian update 再更新。反映的是：(1st) 男性出現後，(2nd) 女性出現，(3rd) 男或女出現的資訊更新後，各個 Hypothesis 的 Posterior Probability。
要注意的是：憑第一個資訊更新出來每個 Hypothesis 的 Posterior Probability，是指每個 Hypothesis 是真的機率。而當第二個資訊出現後，我們只需要從已有的資料（上一次更新出來的Posterior Probability 變成現時的 Prior Probability，即這一刻已知的 Base Rate）開始更新便可。所以說，更新愈多，計算出來的機率會愈接近現實。
另外，要小心：
(a) 你的 Hypothesis 的設定是否正確？
(b) 你是否注視著對的資訊來更新？
雖然，到現在，似乎 H2 是真的機率較高 (0.4 vs 0.3)，但仍沒有顯示哪個 Hypothesis 的機率顯著較高，現在仍然的不能做判斷，因為錯的機率有 60% (H1 or H3 是真的機率 = 0.3 + 0.3)。相信再多一個資訊出現，結果會更明顯。
這個例子已展示了 Bayesian updating 是：
(i) 隨著新資訊的出現，而不斷更新，重點是不斷！；
(ii) 新的資訊愈多，更新愈多，會愈接近現實。
如一開首所說，「貝氏更新 (Bayesian Updating)」是一直更新。這可以從英語 Bayesian Updating 中的 "Updating" 看到，這是一個現在進行式的語意，是有一直更新的意思。這就是「貝氏更新 (Bayesian Updating)」。
所以，在做預測時，我們不能像算命師一樣，只算一次就一錘定音，如立下契約一般，不去改變。相反，我們要不斷更新、持續修正自己的判斷。只要有新的相關資訊出現，也要勇敢地繼續做更新。
但是，若果前後有強烈矛盾的話，要小心處理。一個正常的貝氏更新應該是逐漸變化的過程，而不是突然 180 度改變的。
貝氏定理的相關文章講述：
我的書架 | 思考的框架 (2a): 機率思考 - 貝氏思維 (Bayesian Thinking)
貝氏定理 (1): 理論 (Bayesian Theorem)
貝氏定理 (3): 貝氏因子 (Bayes Factor): 你的證據夠強嗎?
貝氏定理 (4): 貝氏規則的可能性機率 (Likelihood in Bayes Rule)
貝氏定理 (6): 貝氏網絡 (Bayesian Network)
貝氏定理 (7): 事後機率分布最大概似估計法 (Maximum a Posteriori Estimation, MAP)
貝氏定理 (8): 事前資訊質素的影響 (Prior Informativeness)
Reference
石井俊全，統計學關鍵字典，楓葉社， Unknown year。
=======================
免責聲明
本網頁屬個人網誌，一切言論純屬個人意見及經驗分享。本人無法保證在本網誌所提供的資料有關內容的真確性和完整性，包括但不限於任何錯誤、誤差、遺漏、或侵權性質、誹謗性質或虛假性質的信息或任何其他可導致冒犯或在其他方面引致發生任何追索或投訴的資料或遺漏，而導致之任何損失或損害，本人概不承擔任何有關法律責任。
版權聲明
本網誌的所有資料、圖像與相片、文本屬本人所有專屬財產，均受知識產權法例及權利（包括但不限於保護版權的法例）所保障。根據此法例及權利，任何未經授權使用的資料均屬侵權行為。在未經本人明確同意授權下，本網誌資料、圖像與相片、文本之全部或部份均不可被使用、複印、改編、修改、發表、儲存或以其他方式複製分發、發佈或向公眾提供、銷售、傳送該等版權作品作任何用途。
© Copyright 2021-2022 高山雪 Snow Hill. All rights reserved.
留言
發佈留言