Неравенство Рао-Крамера-Фреше

Пусть $\phi (x;\theta )$ — плотность вероятностей случайной величины $X$, если $X$ — непрерывная случайная величина, и

$$\phi (x_i,\theta )=P(X=x_i,\theta )$$

вероятность того, что с.в. $X$ примет значение $x_i$, если $X$ — дискретная случайная величина.

Если $\phi (x,\theta )$ удовлетворяет условиям регулярности:

1. Область возможных значений исследуемой случайной величины, в которой $f(x;\theta )\ne 0$, не зависит от $\theta$;
2. В выражении

$$M(\theta )=\int \theta L(x_1,\dots ,x_n;\theta )d{x}_{1}d{x}_2\dots d{x}_n$$

и соответственно

$$\int L(x_1,\dots ,x_n;\theta )d{x}_{1}d{x}_2\dots d{x}_n=1$$

допустимо дифференцировать по $\theta$ под знаком интеграла;
3. Значение

$$I(\theta ;x)\ne 0;$$

то для любой оценки $\hat{\theta }$ неизвестного параметра $\theta$ имеет место неравенство Рао-Крамера-Фреше:

$$D(\hat{\theta })\ge \frac{1}{nI(\theta ;x)}$$

где $D(\hat{\theta })$ — дисперсия оценки ${\hat{\theta }}_b$ параметра $\theta$, а $I(\theta ;x)$ — количество информации Фишера о параметре $\theta$, содержащейся в одном наблюдении:

$$I(\theta ;x)=M\left[{\left(\ln \phi (x,\theta )\right)}^2\right].$$

По правилу дифференцирования сложной функции

$$(\ln y(x){)}^{\prime }=\frac{y^{\prime }(x)}{y(x)}$$

Следовательно, для дискретной случайной величины:

$$I(\theta ,x)=\sum _{i=1}^n{\left(\frac{{\phi }^{\prime }(x_i,\theta )}{\phi (x_i,\theta )}\right)}^2\phi (x_i,\theta ),$$

а для непрерывной случайной величины:

$$I(\theta ;x)={\int }_{-\infty }^{\infty }{\left(\frac{{\phi }^{\prime }(x,\theta )}{\phi (x,\theta )}\right)}^2\phi (x,\theta )dx.$$