人工智能之数学基础 概率论与统计：第二章 核心定理

人工智能之数学基础 概率论与统计

第二章 核心定理

文章目录

• 人工智能之数学基础 概率论与统计
• 前言
• 一、贝叶斯定理（Bayes' Theorem）
• • 1. 定理陈述
  • 2. 直观例子：疾病检测
  • 3. Python 实现：贝叶斯更新（Beta-Bernoulli 共轭）
• 二、大数定律（Law of Large Numbers, LLN）
• • 1. 定理陈述
  • 2. Python 验证：模拟 LLN
• 三、中心极限定理（Central Limit Theorem, CLT）
• • 1. 定理陈述
  • 2. 直观理解
  • 3. Python 验证：CLT 模拟
• 四、三大定理对比总结
• 五、综合应用：A/B 测试中的 CLT 与贝叶斯
• • 场景：比较两个网页版本的点击率
  • • 方法1：频率学派（基于 CLT）
    • • 方法2：贝叶斯（Beta-Bernoulli）
• 六、结语
• 后续
• 资料关注

前言

概率论中的三大核心定理——贝叶斯定理（Bayes’ Theorem）、大数定律（Law of Large Numbers）和中心极限定理（Central Limit Theorem, CLT）——构成了现代统计推断、机器学习和数据科学的理论基石。本文将深入讲解这些定理的数学含义、直观解释、应用场景，并提供完整的Python 代码实现与可视化验证。

一、贝叶斯定理（Bayes’ Theorem）

1. 定理陈述

对于两个事件 $ A $ 和 $B $，若 $P(B) > 0 $，则：

P ( A ∣ B ) = P ( B ∣ A ) ⋅ P ( A ) P ( B ) P(A \mid B) = \frac{P(B \mid A) \cdot P(A)}{P(B)}P(A∣B)=P(B)P(B∣A)⋅P(A)​

在参数估计中，常写作：

后验 = 似然 × 先验 证据 ⇒ P ( θ ∣ D ) = P ( D ∣ θ ) P ( θ ) P ( D ) \text{后验} = \frac{\text{似然} \times \text{先验}}{\text{证据}} \quad \Rightarrow \quad P(\theta \mid \mathcal{D}) = \frac{P(\mathcal{D} \mid \theta) P(\theta)}{P(\mathcal{D})}后验=证据似然×先验​⇒P(θ∣D)=P(D)P(D∣θ)P(θ)​

其中：

• $P(\theta) $：先验（Prior）— 对参数的初始信念
• $P(\mathcal{D} \mid \theta) $：似然（Likelihood）— 在参数下观测数据的概率
• $ P(\theta \mid \mathcal{D}) $：后验（Posterior）— 观测数据后对参数的更新信念
• $ P(\mathcal{D}) = \int P(\mathcal{D} \mid \theta) P(\theta) d\theta $：边缘似然/证据（Evidence）

✅ 贝叶斯定理实现了从“原因→结果”到“结果→原因”的推理逆转。

2. 直观例子：疾病检测

• 某病患病率：$P(\text{病}) = 0.001 $
• 检测准确率：
  • $P(\text{阳性} \mid \text{病}) = 0.99 $（真阳性）
  • $ P(\text{阳性} \mid \text{健康}) = 0.02 $（假阳性）

问：若检测为阳性，实际患病的概率？

P ( 病 ∣ 阳性 ) = 0.99 × 0.001 0.99 × 0.001 + 0.02 × 0.999 ≈ 0.047 P(\text{病} \mid \text{阳性}) = \frac{0.99 \times 0.001}{0.99 \times 0.001 + 0.02 \times 0.999} \approx 0.047P(病∣阳性)=0.99×0.001+0.02×0.9990.99×0.001​≈0.047

即使检测“很准”，由于疾病罕见，阳性结果大概率是假阳性！

3. Python 实现：贝叶斯更新（Beta-Bernoulli 共轭）

假设我们抛硬币，想知道正面概率 $ \theta $。先验用 Beta 分布（共轭先验）。

importnumpyasnpimportmatplotlib.pyplotaspltfromscipy.statsimportbeta,binom# 先验：Beta(α=1, β=1) → 均匀分布alpha_prior,beta_prior=1,1# 模拟观测数据：10 次试验，7 次正面n_trials,n_heads=10,7# 后验参数（共轭性质）alpha_post=alpha_prior+n_heads beta_post=beta_prior+n_trials-n_heads# 绘制先验 vs 后验x=np.linspace(0,1,500)prior_pdf=beta.pdf(x,alpha_prior,beta_prior)posterior_pdf=beta.pdf(x,alpha_post,beta_post)plt.plot(x,prior_pdf,'r--',label=f'先验 Beta({alpha_prior},{beta_prior})')plt.plot(x,posterior_pdf,'b-',label=f'后验 Beta({alpha_post},{beta_post})')plt.axvline(n_heads/n_trials,color='k',linestyle=':',label='MLE = 0.7')plt.xlabel('θ (正面概率)')plt.ylabel('密度')plt.title('贝叶斯更新：硬币偏置估计')plt.legend()plt.grid(True)plt.show()print(f"后验均值:{alpha_post/(alpha_post+beta_post):.3f}")print(f"95% 置信区间:{beta.ppf([0.025,0.975],alpha_post,beta_post)}")

✅ 随着数据增加，后验越来越集中，趋近于真实值。

二、大数定律（Law of Large Numbers, LLN）

1. 定理陈述

设 $X_1, X_2, \dots, X_n $ 是独立同分布（i.i.d.）的随机变量，且 $ \mathbb{E}[X_i] = \mu $存在，则：

X ˉ n = 1 n ∑ i = 1 n X i → a . s . μ （强大数定律） \bar{X}_n = \frac{1}{n} \sum_{i=1}^n X_i \xrightarrow{a.s.} \mu \quad \text{（强大数定律）}Xˉn​=n1​i=1∑n​Xi​a.s.​μ（强大数定律）

X ˉ n → P μ （弱大数定律） \bar{X}_n \xrightarrow{P} \mu \quad \text{（弱大数定律）}Xˉn​P​μ（弱大数定律）

即：样本均值依概率（或几乎必然）收敛于期望值。

💡 直观：抛硬币次数越多，正面频率越接近 0.5。

2. Python 验证：模拟 LLN

np.random.seed(42)n_max=10000# 生成 i.i.d. 样本（指数分布，均值=2）true_mean=2samples=np.random.exponential(scale=true_mean,size=n_max)# 计算累积均值cumulative_means=np.cumsum(samples)/np.arange(1,n_max+1)# 绘图plt.figure(figsize=(10,5))plt.plot(cumulative_means,label='样本均值')plt.axhline(true_mean,color='r',linestyle='--',label=f'真实均值 μ={true_mean}')plt.xlabel('样本数量 n')plt.ylabel('累积均值')plt.title('大数定律验证：指数分布（λ=0.5）')plt.legend()plt.grid(True)plt.show()

📉 可见：随着 ( n ) 增大，样本均值稳定收敛到理论均值。

三、中心极限定理（Central Limit Theorem, CLT）

1. 定理陈述

设 $ X_1, \dots, X_n $ 是独立同分布（i.i.d.） 随机变量，$ \mathbb{E}[X_i] = \mu， ，，\text{Var}(X_i) = \sigma^2 < \infty $，则当 $n \to \infty $ 时：

X ˉ n − μ σ / n → d N ( 0 , 1 ) \frac{\bar{X}_n - \mu}{\sigma / \sqrt{n}} \xrightarrow{d} \mathcal{N}(0, 1)σ/n​Xˉn​−μ​d​N(0,1)

即：无论原始分布如何，样本均值的标准化形式渐近服从标准正态分布。

✅ 这是t 检验、置信区间、A/B 测试等方法的理论基础！

2. 直观理解

即使原始数据高度偏斜（如指数分布、泊松分布），只要样本量足够大，均值的分布就近似正态。

3. Python 验证：CLT 模拟

importseabornassns np.random.seed(0)n_samples=10000# 模拟多少次“抽样”n_obs=50# 每次抽多少个样本# 从非正态分布（指数分布）抽样sample_means=[]for_inrange(n_samples):sample=np.random.exponential(scale=2,size=n_obs)# 均值=2sample_means.append(np.mean(sample))sample_means=np.array(sample_means)# 理论：均值 ~ N(μ, σ²/n)mu=2sigma=2# 指数分布标准差 = 均值theoretical_std=sigma/np.sqrt(n_obs)# 绘图plt.figure(figsize=(10,5))sns.histplot(sample_means,kde=True,stat='density',bins=50,alpha=0.6,label='样本均值分布')# 叠加理论正态分布x=np.linspace(sample_means.min(),sample_means.max(),200)theoretical_pdf=norm.pdf(x,loc=mu,scale=theoretical_std)plt.plot(x,theoretical_pdf,'r-',lw=2,label=f'理论 N(μ={mu}, σ={theoretical_std:.2f})')plt.axvline(mu,color='k',linestyle='--',label='真实均值')plt.xlabel('样本均值')plt.ylabel('密度')plt.title(f'中心极限定理验证（n={n_obs}）')plt.legend()plt.grid(True)plt.show()print(f"样本均值均值:{sample_means.mean():.3f}(理论:{mu})")print(f"样本均值标准差:{sample_means.std():.3f}(理论:{theoretical_std:.3f})")

📊 即使原始分布是右偏的指数分布，均值的分布已非常接近正态！

四、三大定理对比总结

五、综合应用：A/B 测试中的 CLT 与贝叶斯

场景：比较两个网页版本的点击率

方法1：频率学派（基于 CLT）

# 模拟 A/B 测试数据n_A,n_B=1000,1000clicks_A,clicks_B=120,150p_A=clicks_A/n_A p_B=clicks_B/n_B# 标准误（SE）SE=np.sqrt(p_A*(1-p_A)/n_A+p_B*(1-p_B)/n_B)# z 统计量z=(p_B-p_A)/SE p_value=2*(1-norm.cdf(abs(z)))print(f"p_A ={p_A:.3f}, p_B ={p_B:.3f}")print(f"z ={z:.2f}, p-value ={p_value:.4f}")

方法2：贝叶斯（Beta-Bernoulli）

# 先验 Beta(1,1)alpha_A,beta_A=1+clicks_A,1+n_A-clicks_A alpha_B,beta_B=1+clicks_B,1+n_B-clicks_B# 蒙特卡洛模拟后验samples_A=beta.rvs(alpha_A,beta_A,size=10000)samples_B=beta.rvs(alpha_B,beta_B,size=10000)prob_B_better=np.mean(samples_B>samples_A)print(f"P(版本B更好 | 数据) ={prob_B_better:.4f}")

✅ 贝叶斯给出直接的概率解释，更符合直觉。

六、结语

• 贝叶斯定理：教你如何理性更新信念；
• 大数定律：保证长期频率稳定；
• 中心极限定理：赋予你用正态分布近似复杂问题的能力。

后续

python过渡项目部分代码已经上传至gitee，后续会逐步更新。

资料关注

公众号：咚咚王
gitee：https://gitee.com/wy18585051844/ai_learning

《Python编程：从入门到实践》
《利用Python进行数据分析》
《算法导论中文第三版》
《概率论与数理统计（第四版） (盛骤) 》
《程序员的数学》
《线性代数应该这样学第3版》
《微积分和数学分析引论》
《（西瓜书）周志华-机器学习》
《TensorFlow机器学习实战指南》
《Sklearn与TensorFlow机器学习实用指南》
《模式识别（第四版）》
《深度学习 deep learning》伊恩·古德费洛著 花书
《Python深度学习第二版(中文版)【纯文本】 (登封大数据 (Francois Choliet)) (Z-Library)》
《深入浅出神经网络与深度学习+(迈克尔·尼尔森（Michael+Nielsen）》
《自然语言处理综论 第2版》
《Natural-Language-Processing-with-PyTorch》
《计算机视觉-算法与应用(中文版)》
《Learning OpenCV 4》
《AIGC：智能创作时代》杜雨+&+张孜铭
《AIGC原理与实践：零基础学大语言模型、扩散模型和多模态模型》
《从零构建大语言模型（中文版）》
《实战AI大模型》
《AI 3.0》