Прикладная статистика. Лекция 2025-09-11

Основные свойства точечных оценок

Точечная статистическая оценка

Выборочная числовая характеристика, используемая в качестве приближенного значения соответствующего неизвестного генерального параметра, вычисленная, соответственно, на основе какой-то выборки (статистическая)

Обозначается $\hat{\theta }$

Точечная - точка на числовой прямой

Часто рассматривается как функция случайных величин - вариантов выборки

Link to original

Возникает вопрос погрешности $\hat{\theta }$ по сравнению с $\theta$. Но найти ее не можем, так как $\theta$ неизвестна

Поэтому смотрим на $\hat{\theta }$ как на случайную величину, полученную применением функции $f$ к $n$ случайным результатам $x_i$ выборки

$$\hat{\theta }=f(x_1,\dots ,x_n)$$

Следовательно для $\hat{\theta }$ существуют числовые характеристики и закон распределения, в частности:

• Математическое ожидание $M[\hat{\theta }]$
• Дисперсия $D[\hat{\theta }]$

Интерпретируя $\hat{\theta }$ как случайную величину, можем выделить ряд условий (свойств), чтобы считать ее хорошей (то есть хорошо описывающей генеральную совокупность)

• Состоятельность
• Несмещенность
• Эффективность

состоятельность

Состоятельная оценка

Точечная статистическая оценка $\hat{\theta }$ называется состоятельной, если с ростом объема выборки $n$, она стремится к соответствующему параметру генеральной совокупности $\theta$

$$\forall \epsilon >0\underset{n\to \infty }{\lim }(P(|\hat{\theta }-\theta |)<\epsilon )=1$$

С ростом числа наблюдений n увеличивается вероятность того, что оценка параметра $\theta$ будет сколь угодно мало отличаться от его истинного значения

Link to original

несмещенность

Несмещенная точечная статистическая оценка

Точечная статистическая оценка $\hat{\theta }$, в которой для любого фиксированного объема выборки ее математическое ожидание $M[\hat{\theta }]$ совпадает с соответствующим изучаемым параметром генеральной совокупности $\theta$

$$M[\hat{\theta }]=\theta$$

Чтобы посчитать $M[\hat{\theta }]$ нужно вычислить $\hat{\theta }$ для каждой возможной выборки исследуемой генеральной совокупности, построить ряд распределения по найденным величинам и вычислить требуемое

Если равенство не выполняется, то оценка называется смещенной, а разность

$$M[\hat{\theta }]-\theta$$

смещением

Link to original

Требование несмещенности гарантирует отсутствие систематических ошибок при оценивании

эффективность

Эффективная оценка

Несмещенная точечная статистическая оценка $\hat{\theta }$ называется эффективной, если она среди всех прочих несмещенных оценок обладает наименьшей дисперсией

$$D(\hat{\theta })=\underset{{\hat{\theta }}_i\in \Theta }{\min }D({\hat{\theta }}_i)$$

где $\Theta$ - множество всех несмещенных оценок параметра $\theta$

Link to original

эффективность оценки в некоторых случаях может быть проверена с использованием неравенства Рао-Крамера-Фреше

Неравенство Рао-Крамера-Фреше

Неравенство Рао-Крамера-Фреше

Пусть $\phi (x;\theta )$ — плотность вероятностей случайной величины $X$, если $X$ — непрерывная случайная величина, и

$$\phi (x_i,\theta )=P(X=x_i,\theta )$$

вероятность того, что с.в. $X$ примет значение $x_i$, если $X$ — дискретная случайная величина.

Если $\phi (x,\theta )$ удовлетворяет условиям регулярности:

1. Область возможных значений исследуемой случайной величины, в которой $f(x;\theta )\ne 0$, не зависит от $\theta$;
2. В выражении

$$M(\theta )=\int \theta L(x_1,\dots ,x_n;\theta )d{x}_{1}d{x}_2\dots d{x}_n$$

и соответственно

$$\int L(x_1,\dots ,x_n;\theta )d{x}_{1}d{x}_2\dots d{x}_n=1$$

допустимо дифференцировать по $\theta$ под знаком интеграла;
3. Значение

$$I(\theta ;x)\ne 0;$$

то для любой оценки $\hat{\theta }$ неизвестного параметра $\theta$ имеет место неравенство Рао-Крамера-Фреше:

$$D(\hat{\theta })\ge \frac{1}{nI(\theta ;x)}$$

где $D(\hat{\theta })$ — дисперсия оценки ${\hat{\theta }}_b$ параметра $\theta$, а $I(\theta ;x)$ — количество информации Фишера о параметре $\theta$, содержащейся в одном наблюдении:

$$I(\theta ;x)=M\left[{\left(\ln \phi (x,\theta )\right)}^2\right].$$

По правилу дифференцирования сложной функции

$$(\ln y(x){)}^{\prime }=\frac{y^{\prime }(x)}{y(x)}$$

Следовательно, для дискретной случайной величины:

$$I(\theta ,x)=\sum _{i=1}^n{\left(\frac{{\phi }^{\prime }(x_i,\theta )}{\phi (x_i,\theta )}\right)}^2\phi (x_i,\theta ),$$

а для непрерывной случайной величины:

$$I(\theta ;x)={\int }_{-\infty }^{\infty }{\left(\frac{{\phi }^{\prime }(x,\theta )}{\phi (x,\theta )}\right)}^2\phi (x,\theta )dx.$$Link to original

Различные эффективные оценки

Выборочное среднее как точечная оценка генеральной средней (математического ожидания)

Для этого существует неравенство Рао-Крамера-Фрише. Оно позволяет оценить дисперсию (пункт 3.2 лекции)

Свойства выборочного среднего

Пункт 3.3 в лекции

Ограничения

• Рассматривается повторная выборка
• $M(x_i)=M(x)$
• $D(x_i)=D(x)$
• $x_i$ попарно независимые

состоятельность

Попробовать доказать

несмещенность

Покажем, что выборочное среднее является несмещенной оценкой от математического ожидания

Показать

эффективность

Показать

Для бесповторной выборки не выполняется

Link to original

Выборочная дисперсия

Свойства выборочной дисперсии

Упрощенная формула выборочной дисперсии

$${\hat{\sigma }}^2=\widehat{X^2}-(\hat{X}{)}^2$$Link to original

несмещенность

Ограничения

• повторной выборка

Требуется

• свойство 1 дисперсии (прибавление константы)

Расписать

В итоге получаем

$$M(\hat{D})=\frac{n-1}{n}D$$

То есть оценка смещенная. Чтобы избавиться от смещенности вводится

Исправленная выборочная дисперсия

Link to original

Link to original

Задание

В конце п. 3.3 лекции выполнить задание (4 задание особенно)

Методы нахождения точечных оценок

Метод моментов

Идея

Вычисленные по выборке моменты:

Начальный момент

Link to original

Центральный момент

Link to original

Приравниваются к соответствующим Теоретическим моментам предполагаемого распределения

Теоретический момент	Выборочный момент
Расписать

Для определения 2 параметров используют чаще $k=1,2$

Пример смотри в лекции

Недостатки

Найденные оценки смещенные и неэффективные

Метод максимального правдоподобия

По выборке найти такое значение $\theta$, чтобы вероятность наблюдения наблюдения выборки была максимальна

Для этого вводится функция правдоподобия и определяются точки ее экстремума

Функция правдоподобия

Функция правдоподобия $L$, выражающая плотность вероятности совместного появления результатов выборки, определяемая выражением

$$L(x_1,\dots ,x_n,\theta )=\prod _{i}f(x_i,\theta )$$Link to original

Для упрощения поиска Ищут экстремум функции $ln(L)$