参数估计之最大似然估计法

文章目录

• 文章目录

• 1. 最大似然估计定义

• 2. 解最大似然估计值

1. 最大似然估计定义

• 引例1

  已知一个箱子里有黑白共100个球，颜色且比例为99：1，从中随机取一个球，发现是黑色，问箱子里有多少个黑球？

  解，设事件表示取到黑球，事件表示取到白球，已知100个球中，颜色比例为，如果假设黑球有99个，则 如果假设黑球有个，则， 现在我们随机取了一个球，是黑色，即事件发生，我们很直观的认为箱子中黑球应该有99个，因为有一个事实是，概率大的事件比概率小的时间更容易发生。或者说，箱子里更像是有99个黑球，这个更像就是“最大似然“的思想。

  极大似然原理的直观想法是，一个随机试验如果有若干个可能的结果 如果在一次试验中，结果出现，则一般认为出现的概率最大，或者说在试验的很多可能条件中，认为应该是使事件发生的概率最大的条件

• 数学定义(「建议跳过阅读，通过例子更好理解」)

• 若总体属于离散型，其分布律的形式已知，为待估参数，是可能的取值范围。设是来自的样本，则的联合分布律为

  ，又设是相应于样本的一个样本值，很容易知道，样本取到观测值的概率，即事件 发生的概率为

  这一概率随的取值而变化，它是的函数，称为样本的「似然函数」
• 若总体属于连续型，其概率密度的形式已知，为待估参数，是可能的取值范围。设是来自的样本，则的联合分布律为

  ，又设是相应于样本的一个样本值，则随机点落在点的邻域(边长分别为的维立方体)内的概率近似地为

   这一概率随的取值而变化，与离散型情况一样，我们取的估计值使概率取得最大值，由于因子  不随而变，故只需考虑函数

  的最大值，这里 称为样本的「似然函数」
• 若

  则称为的「最大似然估计值」，称为的「最大似然估计量」
• 很多情况下，和关于可微，这时常从方程

  解得。由于为增函数，因此与在同一个处取到极值，因此的最大似然估计可以从方程

  求得，该方程被称为「对数似然方程」

2. 解最大似然估计值

最大似然估计的计算步骤很简单，用例子加以解释和说明

• 例1

  总体 ，是来自总体的一个样本值，试求的最大似然估计

  解:

1. 写出总体的分布律或者密度函数

2. 写出似然函数

3. 两边同时取

4. 写出对数似然方程

5. 解出参数值

   该估计值和矩估计的值保持一致

• 例2

  总体 ，是来自总体的一个样本值，试求的最大似然估计

  解:

1. 写出总体的分布律或者密度函数

2. 写出似然函数

3. 两边同时取

4. 写出对数似然方程，这里有多个参数，则似然方程组为

5. 解出参数值