最大似然估计

  1. 首先确定采样是独立同分布的（i.i.d.）。
  2. 在这里先假设，样本分布符合高斯分布。

独立性：

$\mathbb P (AB)=\mathbb P (A) \cdot \mathbb P (B)$

同分布：

保证了所有的样本点符合同一分布，这里假设为高斯分布,连续性分布，即$X\sim N(\mu,\sigma^2)$。 注： 非连续性分布，过程类似。

样本

假设抽样了$ X_1,X_2,X_3….,X_1=\{x_1,x_2,…x_n\}$,所以$\Large f(x_1;\mu,\sigma)=\frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{1}{2\sigma^2}(x_1-\mu)^2},P(x_1;\mu,\sigma)=\frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{1}{2\sigma^2}(x_1-\mu)^2} dx_1 \ \Large P(X;\mu,\sigma)= \prod_{i=1}^{n}P(x_i;\mu,\sigma) =\prod_{i=1}^{n}f(x_1;\mu,\sigma) dx_i =\prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{1}{2\sigma^2} (x_i-\mu)^2} \cdot \prod_{i=1}^{n}dx_i $

似然函数(Likelihood function，似乎是这样的函数)

由独立性和同分布性可得,这里我们用$ L_m$表示联合概率密度分布,因为$\prod_{i=1}^{n}dx_i$为定值与$\mu,\sigma$无关：

$\Large L_m(\mu,\sigma;X_1) = \prod_{i=1}^{n}f(x_1;\mu,\sigma) =\prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{1}{2\sigma^2} (x_i-\mu)^2}$

由于连乘形式不好运算，所以我们两边同时取对数得，用$ l_m$ 取对数后的概率密度分布：

$\Large l_m(\mu,\sigma;X_1) = \sum_{i=1}^{n}lnf(x_1;\mu,\sigma) = -\frac{n}{2}ln(2\pi\sigma^2)-\frac{1}{2\sigma^2} \sum_{i=1}^{n}(x_i-\mu)^2 $

最大似然估计（MLE）

这里我们取$\theta = (\mu,\sigma)$,我们要得到使得似然函数$ L_m $取得最大值的 、$\theta$ 的参数估计，即：$\widehat \theta$，称为参数$\theta$的最大似然估计。
所以对上述似然方程求偏导得，尖帽表示估计值：

所以可得参数$\theta$的最大似然估计值为$(\widehat\mu,\widehat\sigma)$
参数的$\theta$最大估计量：