MATH-PRO-29 最大似然估计法

数学一 > ### 概率论与数理统计 > #### 最大似然估计法

---

一、定位信息

项目	内容
所属章节	第七章 参数估计
知识单元编号	MATH-PRO-29
前置知识	MATH-PRO-28（矩估计）
后续关联	MATH-PRO-30（评选标准）、MATH-PRO-31（区间估计）
考试地位	参数估计的核心，每年必考
难度等级	★★★★☆

---

二、知识点讲解

1. 似然函数

离散型：设总体分布律为 $P(X = x) = p(x; \theta)$，样本 $x_1, \ldots, x_n$，则似然函数为：

$L(\theta) = \prod_{i=1}^n p(x_i; \theta)$

连续型：设总体密度为 $f(x; \theta)$，则：

$L(\theta) = \prod_{i=1}^n f(x_i; \theta)$

2. 最大似然估计（MLE）

思想：选择使观测数据出现概率最大的参数值。

定义：若 $\hat{\theta}$ 满足 $L(\hat{\theta}) = \max_\theta L(\theta)$，则 $\hat{\theta}$ 称为 $\theta$ 的最大似然估计。

3. 求解步骤

步骤1：写出似然函数 $L(\theta) = \prod f(x_i; \theta)$

步骤2：取对数 $\ln L(\theta) = \sum \ln f(x_i; \theta)$（对数似然函数）

步骤3：求导并令导数为0 $\frac{d\ln L}{d\theta} = 0$（似然方程）

步骤4：解方程得 $\hat{\theta}$，验证是最大值

多参数情形：对每个参数分别求偏导，令所有偏导为0，联立解方程组。

4. 最大似然估计的不变性

定理：若 $\hat{\theta}$ 是 $\theta$ 的MLE，则 $g(\hat{\theta})$ 是 $g(\theta)$ 的MLE。

例如：$\hat{\sigma}^2$ 是 $\sigma^2$ 的MLE → $\hat{\sigma} = \sqrt{\hat{\sigma}^2}$ 是 $\sigma$ 的MLE。

5. 常见分布的MLE

分布	参数	MLE
$B(1,p)$	$p$	$\hat{p} = \bar{X}$
$P(\lambda)$	$\lambda$	$\hat{\lambda} = \bar{X}$
$U(0,\theta)$	$\theta$	$\hat{\theta} = \max(X_1,\ldots,X_n)$
$E(\lambda)$	$\lambda$	$\hat{\lambda} = 1/\bar{X}$
$N(\mu,\sigma^2)$	$\mu,\sigma^2$	$\hat{\mu}=\bar{X}$，$\hat{\sigma}^2=\frac{1}{n}\sum(X_i-\bar{X})^2$

注意：均匀分布 $U(0,\theta)$ 的MLE是 $\max X_i$，不是 $2\bar{X}$（矩估计）！

---

三、矩估计vs最大似然估计对比表

对比项	矩估计	最大似然估计
思想	矩=矩	使观测概率最大
方法	解矩方程	求似然函数极值
计算	通常较简单	可能较复杂
性质	不一定最优	渐近最优（大样本）
不变性	无	有（$g(\hat\theta)$ 是 $g(\theta)$ 的MLE）
正态方差	$\frac{1}{n}\sum(X_i-\bar{X})^2$	$\frac{1}{n}\sum(X_i-\bar{X})^2$（相同）

---

四、记忆辅助

1. MLE核心：使 $L(\theta) = \prod f(x_i;\theta)$ 最大。
2. 对数似然：取对数后求导——$\ln L = \sum \ln f(x_i;\theta)$，乘积变求和，方便求导。
3. MLE不变性：$\hat{\theta}$ 是 $\theta$ 的MLE → $g(\hat{\theta})$ 是 $g(\theta)$ 的MLE。
4. 均匀分布MLE：$\hat{\theta} = \max X_i$（不是 $2\bar{X}$）。

---

五、例题精解

【例题1】指数分布的MLE

题目：设 $X_1, \ldots, X_n$ 为来自 $E(\lambda)$ 的样本，求 $\lambda$ 的MLE。

解答：

第一步：写出似然函数

$L(\lambda) = \prod_{i=1}^n \lambda e^{-\lambda x_i} = \lambda^n e^{-\lambda\sum x_i}$

第二步：取对数

$\ln L = n\ln\lambda - \lambda\sum_{i=1}^n x_i$

第三步：求导令为0

$\frac{d\ln L}{d\lambda} = \frac{n}{\lambda} - \sum x_i = 0$

$\hat{\lambda} = \frac{n}{\sum x_i} = \frac{1}{\bar{x}}$

第四步：验证是最大值

$\frac{d^2\ln L}{d\lambda^2} = -\frac{n}{\lambda^2} < 0$，确认是最大值 ✓。

$\hat{\lambda} = \frac{1}{\bar{X}}$。

---

【例题2】均匀分布的MLE

题目：设 $X_1, \ldots, X_n$ 为来自 $U(0, \theta)$ 的样本，求 $\theta$ 的MLE。

解答：

第一步：写出似然函数

$L(\theta) = \prod_{i=1}^n \frac{1}{\theta} = \frac{1}{\theta^n}, \quad 0 \leq x_i \leq \theta \text{ 对所有 } i$

即 $L(\theta) = \theta^{-n}$，$\theta \geq \max(x_1, \ldots, x_n)$。

第二步：分析单调性

$L(\theta) = \theta^{-n}$ 关于 $\theta$ 单调递减。在约束 $\theta \geq \max x_i$ 下，$L(\theta)$ 在 $\theta = \max x_i$ 处取最大值。

第三步：结论

$\hat{\theta} = \max(X_1, X_2, \ldots, X_n)$

第四步：验证

$\hat{\theta} \geq x_i$ 对所有 $i$ 成立 ✓。对数似然 $\ln L = -n\ln\theta$ 单调递减，$\theta$ 越小 $L$ 越大，故取最小可能值 $\max x_i$ ✓。

---

六、考情分析

年份	题型	考点	分值
每年必考	解答题	求最大似然估计	10-12分
高频	选择题	MLE的性质（不变性等）	4分
中频	计算	矩估计与MLE的比较	10分

---

七、易错点

1. 均匀分布的MLE不是 $2\bar{X}$：矩估计是 $2\bar{X}$，MLE是 $\max X_i$，两者不同。
2. 似然函数的定义域：$L(\theta)$ 只在 $\theta$ 的参数空间内定义，需考虑约束条件。
3. MLE不一定是无偏的：如正态方差的MLE $\frac{1}{n}\sum(X_i-\bar{X})^2$ 是有偏的。

---

八、来源标注

来源	说明
教材	浙大版《概率论与数理统计》第7章 §7.2
大纲	考研数学一大纲"最大似然估计法"