貝氏定理 (7): 事後機率分布最大概似估計法 (Maximum a Posteriori Estimation, MAP)

   

在<貝氏定理 (5): 貝氏更新 (Bayesian Updating)>中，我巳說過 Bayes rule 的公式是：

如設： D = y; H =𝜭，那麼 Eq. 1 便轉為 Eq. 2：

機率分布

當事前機率（或先驗機率，Prior Probability）是一個連續型機率分布 continuous probability distribution（例如：Normal distribution），或離散型機率分布 discrete probability distribution（例如：Bernoulli, Binominal, or Poisson distributions），Eq. 2 便變成 Eq. 3：

where: 

𝛑(𝚹 | y) : 事後機率分布 Posterior Distribution

 f(y |𝚹): 似然涵數 likelihood function

𝛑(𝚹): 事前機率分布（或先驗機率分布，Prior Probability Distribution）

f(y) : 資訊或數據

因為在某一特定時間內，f(y) 是一個固定常數的涵數: information as a function of y，所以，事後機率分布 Posterior Distribution 是與似然 likelihood 和事前機率 Prior Distribution 的剩積，成正比關係 (see Eq. 4)。

事後機率分布最大概似估計法 (Maximum a Posteriori Estimation, MAP)

因為是機率分布，就不容易用一個機率數值來計算事後機率，所以便要運用「事後機率分布最大概似估計法 (Maximum a Posteriori, MAP)」 來計算那個機率數值，什麼機率可得出事後機率 Posterior Probability 的最大值。

方法是：先用貝氏更新，將 Prior Probability Distribution 更新到 Posterior Probability Distribution。再以這個 Posterior Probability Distribution 進一步找出一個 𝚹  值。那個 𝚹  值便是機率期望值，會得出一個最大的 Posterior Probability 事後機率分布涵數。這個方法，稱為「事後機率分布最大概似估計法 (Maximum a Posteriori Estimation, MAP)」。這個 MAP 方法就是最大概似估計法 (Maximum Likelihood Estimate, MLE) 。

Example:

一名參議員，過往參選過兩次，第一次當選，第二次落選。他的事前機率分布是 Bernoulli distribution，𝛑(𝚹) =  2𝚹。

因為事前機率分布𝚹 是 Bernoulli distribution，所以，他的勝選的機率參數 = 𝚹；落選的機率參數是 = (1-𝚹)。勝選的機率加落選的機率必定是 1。

基於他以往兩次參選，他勝選的似然 Likelihood function 便等於 𝚹 × (1-𝚹)。(see Eq. 5)

他的事前機率分布 Prior Probability Distribution 已知的是 Bernoulli distribution，𝛑(𝚹)= 2𝚹。

將 Eq. 5 和 Eq. 6 放回 Eq. 4，得到：

拆解可見，他的事後機率分布 Posterior distribution 𝛑(𝚹 | y) 和𝚹 ²(1-𝚹) 成正比 (see Eq. 7)。

從 Eq. 7 ，可設 k 為常數： 𝛑(𝚹 | y) ∝  k 𝚹²(1-𝚹) ，

那麼在 equation 右邊的 k 𝚹²(1-𝚹) 是在 0 與 1 之間。

如要想找 𝛑(𝚹 | y) 的真正公式，我們必須要找出 k 值，然後放回 Eq. 8，而 Eq. 8 就不再是正比為 𝛑(𝚹 | y) ∝  k 𝚹²(1-𝚹) ，而是等於 。而最大 k 的數值，可做 integration 積分來找：

拆解 Eq. 9，找出最大 k 的數值：

把 k = 12 放回 Eq. 8，所以 Posterior distribution 𝛑(𝚹 | y )= 12 𝚹²(1-𝚹) (see Eq. 10)：

在 Likelihood function f(y |𝚹) = 𝚹 (1-𝚹) 下，Prior distribution 𝛑(𝚹 )= 2𝚹 被更新為 Posterior distribution 𝛑(𝚹 | y )= 12 𝚹²(1-𝚹)  in Eq. 10。

最大事後機率估計 (Maximum a Posterior Probability Estimate, MAP)

現在，想在估計 Posterior distribution 𝛑(𝚹 | y) 最大化下，找出 𝚹 值。

可以用 𝚹 做 Posterior distribution: 𝛑(𝚹 | y ) = 12 𝚹²(1-𝚹) 的微分 derivatisation 來找出隨著 𝚹 的改變，涵數 𝛑(𝚹 | y ) 是怎樣改變：Derivative of Posterior distribution with respect to 𝚹, that means: how the function of 𝛑(𝚹 | y ) changes as 𝚹 changes。

• At the maximum point (i.e. turning point where the gradient = 0), thus the derivative is equal to 0:

Plug Eq. 10 to Eq. 10a, we have:

以上找到 𝚹 的 expectation value 期望值，等於 2/3。

把 𝚹 = 2/3 放回 Eq. 10，Posterior Probability Density Function maximium = 16/9 (see Figure 1)，而事後機率最大值就是 2/3 ，這是最大事後機率的估值。

Figure 1. Bayesian update from prior distribution to posterior distribution. 

從上面的 Bayesian update 貝氏更新，我們可以見到：

• 在 Likelihood function f(y |𝚹) = 𝚹 (1-𝚹) 下， Prior probability distribution：𝛑(𝚹) = 2𝚹，被更新到 Posterior probability distribution: 𝛑(𝚹 | y) = 12 𝚹²(1-𝚹) 
• 而以這個 Posterior probability distribution 再進一步找出一個 𝚹 值，會得出一個最大的 Posterior probability 事後機率值 (see Figure 1)。

Reference

 石井俊全，統計學關鍵字典，楓葉社， Unknown year。

相關文章：

我的書架 | 思考的框架 (2a): 機率思考 - 貝氏思維 (Bayesian Thinking)

貝氏定理 (1): 理論 (Bayesian Theorem)

貝氏定理 (3): 貝氏因子 (Bayes Factor): 你的證據夠強嗎? 

貝氏定理 (4): 貝氏規則的可能性機率 (Likelihood in Bayes Rule)

貝氏定理 (5): 貝氏更新 (Bayesian Updating)

貝氏定理 (6): 貝氏網絡 (Bayesian Network)

貝氏定理 (8): 事前資訊質素的影響 (Prior Informativeness)

=======================

免責聲明
本網頁屬個人網誌，一切言論純屬個人意見及經驗分享。本人無法保證在本網誌所提供的資料有關內容的真確性和完整性，包括但不限於任何錯誤、誤差、遺漏、或侵權性質、誹謗性質或虛假性質的信息或任何其他可導致冒犯或在其他方面引致發生任何追索或投訴的資料或遺漏，而導致之任何損失或損害，本人概不承擔任何有關法律責任。

版權聲明
本網誌的所有資料、圖像與相片、文本屬本人所有專屬財產，均受知識產權法例及權利（包括但不限於保護版權的法例）所保障。根據此法例及權利，任何未經授權使用的資料均屬侵權行為。在未經本人明確同意授權下，本網誌資料、圖像與相片、文本之全部或部份均不可被使用、複印、改編、修改、發表、儲存或以其他方式複製分發、發佈或向公眾提供、銷售、傳送該等版權作品作任何用途。

 © Copyright 2021-2022 高山雪 Snow Hill. All rights reserved.