貝氏定理 (1): 理論 (Bayesian Theorem)

之前的＜我的書架 | 思考的框架 (2a): 機率思考 - 貝氏思維 (Bayesian Thinking)＞已簡單說過貝氏定理。

首先，先看看條件機率 (Conditional Probability) 。

 

 

 

 Photo by marianne bos on Unsplash

 

 

條件機率 (Conditional Probability) 

在以下情況，要表達機率：

• 基於 K 證據，信念 A 是對的機率 (A probability of a statement or belief A, given the condition of B, under the evidence of K) ：     

                         P(A,K)

• 若果 K 證據是恒常的 (constant) 、不變的 (fixed) 、不相關的 (irrelevant) ， 那 K 可以省卻，變成：        

                          P(A)

問題在於，很多時候，不同人有著不同資訊、消息、證據，而造成不同信念。這就是主觀機率 (subjective probability)，我在下面會再談。 

 

在條件機率下，要表達：

• 基於 K 證據，在B條件下的信念 A 是對的機率 (A probability of a statement or belief A, given the condition of B, under the evidence of K)；或
• 基於 K 證據，信念 A的機率如果 B條件是真的話 (the probability of a statement or belief A, if the condition B is true under the evidence of K):

                                                    可用：P(A|B,K) 來表達。

• 同理，若果 K 證據是恒常的，那就變成：  P(A|B)                        

 

 

這個 Eq. (3) 就是 Bayes Rule （貝氏規則）。

 

 

 貝氏定理的理論 (Bayesian Inference)

在貝氏定理的推斷方法下 (Bayesian inference approach)，目標是要基於新資訊，來更新自己原有的舊信念，成為新信念。

  

 

Figure 1 是一個用 Bayes Rule 模擬 Prior probability, Likelihood, Posterior probability 的分佈例子。

 Figure 1. Prior belief, Likelihood and Posterior belief distributions (Vilda Purutcuoglu, unknown year).

For example: 如有兩個原有信念， i = 1, 2。Then: 

Eq. (8) 是貝氏定理中，經常被採用的公式。筆者認為，Eq. (7) 和 Eq. (8) 就是貝氏思維的精髓。

用 Eq. (8)，我們只需要三個資料數據：(i) P(B|A)；(ii) P(A); (iii) P(B| ¬A) ，便可以計算 Posterior Probability 新信念機率。

 

 

主觀機率 (Subjective Probability)

主觀機率 (Subjective Probability) 跟客觀機率 (Objective Probability) 的不同在於： 

• 客觀機率：是基於已經發生事件或長期的已有數據，重覆很多次而得出的頻率數據，計算出來的客觀機率。是 Frequentist approach 必須的資料。

• 主觀機率：是基於人對某事件的資訊來主觀判斷某事的發生機率。當中，每個人擁有及取得的資訊有所不同，例如：資訊來源可信性、資訊本身可信度、資訊是否更新、自己信念、性格、認知偏誤等，都能影響人對某事發生的相信程度、理解程度、信心程度，而影響主觀機率的。這通常會在不確定情況下發生，因為事件未曾發生，沒有歷史數據，沒有客觀機率。主觀判斷的機率便自然出現。這個主觀機率，較為貼近我們日常生活使用到的。這就是 Bayesian approach： Probability reflects the degree of belief or opinion.

 

在決策時，務必要用最少的資金，把期望值最大化。

展望理論 Prospect Theory (1): 價值函數 (Value Function)  

 期望值理論: 投資額計算

 

例子：球賽

某球隊以往在 2003 年曾經勝出國家賽事， 這個是歷史事件，沒有什麼不確定性。現在，這球隊在競爭今年 2021 年國家賽事冠軍。

假設：

信念 A： 這球隊將會勝出今年 2021 年年尾的國家賽事冠軍

在年初，有兩名普通市民 (Tom 和 Peter)，對信念 A 持有不同的信心程度。因為信念 A 是未來未曾發生的事情，所以對信念 A 的信心程度是取決於主觀判斷的機率。

• Tom 基於對該球隊以往表現、以往的成功戰略、現在球隊內球員的體能、球技、等理據資料 (K)，對信念 A 是對的信心程度估計有 75%。

• Tom 的 Prior Belief: P(A | K) = 0.75

• Peter 則不太關心球賽，也不太關心該球隊，只是收到行內的秘密消息 (K')，該球隊將會在數月內大重組，可能會辭掉教練及賣走最重要球員。

• Peter 的 Prior Belief: P(A | K') = 0.20

 可以看到，不同人因為證據不一樣，對同一個信念抱持的信任程度，可以完全不一樣。

最吊詭的是，即使大家取得的資訊 (K) 是一樣，經過大腦詮釋 (metal representation) 後，得出的信心程度結論，各自也可以不一樣的！

 P(A)Tom ≠ P(A)Peter

我會在之後的文章＜貝氏定理 (3): 貝氏因子 (Bayes Factor): 你的證據夠強嗎? ＞，探討如何評估自己的新證據、新資訊。

 這例子會在＜期望值理論: 投資額計算＞被引用計算 投資額。

 

筆者會在以後的文章講述：

貝氏定理 (2): 應用例子 

貝氏定理 (3): 貝氏因子 (Bayes Factor): 你的證據夠強嗎? 

貝氏定理 (4): 貝氏規則的可能性機率 (Likelihood in Bayes Rule)

貝氏定理 (5): 貝氏更新 (Bayesian Updating)

貝氏定理 (6): 貝氏網絡 (Bayesian Network)

貝氏定理 (7): 事後機率分布最大概似估計法 (Maximum a Posteriori Estimation, MAP)

貝氏定理 (8): 事前資訊質素的影響 (Prior Informativeness)

期望值理論 ： 投資額計算

 

 

Reference

Vilda Purutcuoglu, Lecture notes of STAT 565 course notes of Decision Theory and Bayesian Analysis.  unknown year.

 

=======================

免責聲明
本網頁屬個人網誌，一切言論純屬個人意見及經驗分享。本人無法保證在本網誌所提供的資料有關內容的真確性和完整性，包括但不限於任何錯誤、誤差、遺漏、或侵權性質、誹謗性質或虛假性質的信息或任何其他可導致冒犯或在其他方面引致發生任何追索或投訴的資料或遺漏，而導致之任何損失或損害，本人概不承擔任何有關法律責任。

版權聲明
本網誌的所有資料、圖像與相片、文本屬本人所有專屬財產，均受知識產權法例及權利（包括但不限於保護版權的法例）所保障。根據此法例及權利，任何未經授權使用的資料均屬侵權行為。在未經本人明確同意授權下，本網誌資料、圖像與相片、文本之全部或部份均不可被使用、複印、改編、修改、發表、儲存或以其他方式複製分發、發佈或向公眾提供、銷售、傳送該等版權作品作任何用途。

 © Copyright 2021 高山雪 Snow Hill. All rights reserved.