Motivation:为什么假设检验能"反证"?

如果 $H_0$ 为真时,某事件发生的概率极小(如 $\alpha=0.05$),而一次试验中该事件居然发生了,我们就有理由怀疑 $H_0$ 的正确性。

这是整个假设检验的哲学基础

两类错误(Type I & Type II)

错误类型 含义 概率 现实对应
第一类错误(弃真) $H_0$ 为真却拒绝 $\alpha$ 新按钮其实没用,但你说有用
第二类错误(取伪) $H_0$ 为假却接受 $\beta$ 新按钮其实有用,但你没发现

检验步骤(通用框架)

1. 建立假设:H₀ vs H₁(注意单侧/双侧)
2. 选择检验统计量(Z/t/χ²/F)
3. 确定显著性水平 α
4. 计算统计量 / p 值
5. 做出决策并解释业务含义

p 值(p-value)

p 值是假设检验中衡量“观测到的样本结果在零假设下有多极端”的一种概率。它回答的问题是:

在零假设 $H_0$ 为真时,得到当前统计量值 或更极端 的概率有多大?

注意

p 值不是“零假设为真的概率”,而是:

如果零假设真的成立,我们现在观察到的数据有多反常?

也就是说,p 值衡量的不是“假设本身有多可信”,而是“数据在这个假设下有多不寻常”。


<aside> 💡

一个例子:推荐系统按钮改版有没有提升点击率?

假设我们在做一个推荐系统页面,想测试一个新按钮是否能提高点击率。

原来的按钮点击率大约是:

$$

10% $$

现在我们上线了一个新按钮,抽取了 1000 个用户做实验,结果有 120 人点击。

也就是说,新按钮的样本点击率是:

$$

\hat p = \frac{120}{1000}=12% $$

看起来点击率从 10% 提高到了 12%。

但问题是:

这 2% 的提升是真实效果,还是随机波动?

这就是假设检验要回答的问题。

</aside>

第一步:提出两个假设