[模式识别-从入门到入土] 拓展-似然

[模式识别-从入门到入土] 拓展-似然

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

基本公式

P ( A , B ) = P ( A ∣ B ) P ( B ) = P ( B ∣ A ) P ( A ) P ( A ∣ B ) = P ( A ) P ( B ) P ( B ∣ A ) P ( B ) = ∑ i = 1 n P ( B ∣ A i ) P ( A i ) P ( A ∣ B ) = P ( A ) P ( B ∣ A ) ∑ i = 1 n P ( A i ) P ( B ∣ A i ) P(A,B)=P(A|B)P(B)=P(B|A)P(A) \\ P(A|B)= \frac{P(A)}{P(B)} P(B|A) \\ P(B)=\sum_{i=1}^n P(B|A_i)P(A_i) \\ P(A \mid B) = \frac{P(A)\, P(B \mid A)}{\sum_{i=1}^{n} P(A_i)\, P(B \mid A_i)}P(A,B)=P(A∣B)P(B)=P(B∣A)P(A)P(A∣B)=P(B)P(A)​P(B∣A)P(B)=i=1∑n​P(B∣Ai​)P(Ai​)P(A∣B)=∑i=1n​P(Ai​)P(B∣Ai​)P(A)P(B∣A)​

• 先验概率：P ( ω i ) P(\omega_i)P(ωi​)
  不考虑任何观测时，属于类别ω i \omega_iωi​的概率

• 后验概率：P ( ω i ∣ x ) P(\omega_i|x)P(ωi​∣x)
  已知样本x xx后，属于类别ω i \omega_iωi​的概率

• 类条件概率：P ( x ∣ ω i ) P(x|\omega_i)P(x∣ωi​)
  在类别ω i \omega_iωi​条件下，特征x xx出现的概率密度

类条件概率P ( x ∣ ω i ) P(x|\omega_i)P(x∣ωi​)

给定样本类别ω i \omega_iωi​的情况下，样本特征x xx出现的概率密度
->在类别ω \omegaω下，样本会长成什么样
->P ( x ∣ ω i ) P(x|\omega_i)P(x∣ωi​)

变量(参数):x xx
已知(观测值):ω i \omega_iωi​

似然L ( ω i ∣ x ) L(\omega_i|x)L(ωi​∣x)(Likelihood)

给定样本特征x xx的情况下，样本属于某一类别ω i \omega_iωi​的 “可能性度量”
->对这个已经发生的样本x = x 0 x=x_0x=x0​，哪个ω \omegaω更“支持”它
->L ( 待优化的参数 ∣ 观测值 ) = L ( ω i ∣ x ) L(\text{待优化的参数}|\text{观测值})=L(\omega_i|x)L(待优化的参数∣观测值)=L(ωi​∣x)

变量(参数):ω i \omega_iωi​
已知(观测值):x xx

似然函数L ( ω i ∣ x ) L(\omega_i|x)L(ωi​∣x)被定义为P ( x ∣ ω i ) P(x|\omega_i)P(x∣ωi​)在x xx固定时的函数
L ( ω i ∣ x ) = P ( x ∣ ω i ) , (已观测到x) L(\omega_i|x)=P(x|\omega_i), \quad \text{(已观测到x)}L(ωi​∣x)=P(x∣ωi​),(已观测到x)
似然不是“概率”，而是“把同一个函数换了看法”:
∑ ω i L ( ω i ∣ x ) = 无需 1 \sum_{\omega_i} L(\omega_i|x) \stackrel{\text{无需}}{=} 1ωi​∑​L(ωi​∣x)=无需1
似然是后验概率的正比项:
P ( ω i ∣ x ) ∝ L ( ω i ∣ x ) P ( ω i ) P(\omega_i|x) \propto \mathbf{L(\omega_i|x)} P(\omega_i)P(ωi​∣x)∝L(ωi​∣x)P(ωi​)

为何可以丢弃P ( x ) P(x)P(x):
因为x xx在该概念下, 是常数
-> 而这是概率论的角度不能做到的

如果不引入“似然”这个视角：

• 无法说“我在对参数做优化”
• 只能说“这是一个概率公式”，但不知道要最大化谁

-> 找一组参数，让已观测数据“最有可能被生成”

概率论回答的是“随机变量取值的分布”
统计学习要做的是“在已观测数据固定的前提下，反推未知参数”

世界生成数据（概率论） ω ──▶ x 用 P(x|ω) 现实观察数据（统计学习） x ──▶ ω 用 L(ω|x)

证据P ( x ) P(x)P(x)

$P(x) $ 衡量的是:“这个模型整体上，对已观测数据x xx的解释有多好”

证据P ( x ) P(x)P(x)是 “模型在不区分类别的情况下生成样本x xx的总体概率”

在 Bayes 公式中负责归一化后验分布，在参数或类别比较中是常数，因此可以被省略

但P ( x ) P(x)P(x)在模型选择中至关重要