 |
Понятие оценки. Виды оценок
|
|
|
|
Модуль 4
Лекция 24. Статистические оценки
Понятие оценки как функции выборки.
Виды оценок
Точечные оценки. Свойства несмещенности, состоятельности и эффективности.
Неравенство Рао-Крамера
Отыскание оценок методом моментов.
Метод максимального правдоподобия.
Интервальные оценки. Доверительные интервалы и области.
Лемма Фишера
Приложение: распределения Стьюдента и c2
Понятие оценки. Виды оценок
Рассмотрим следующую общую задачу. Имеется случайная величина 
, закон распределения которой содержит неизвестный параметр q. Требуется найти подходящую оценку для параметра q по результатам n независимых опытов, в каждом из которых величина X приняла определенное значение.
Обозначим наблюденные значения случайной величины
.
Их можно рассматривать как n «экземпляров» случайной величины X, то есть n независимых случайных величин, каждая из которых распределена по тому же закону, что и случайная величина .
Обозначим 
оценку для параметра q. Любая оценка, вычисляемая на основе материала, должна представлять собой функцию величин (Х1…,Хn):
= (Х1…,Хn)
и, следовательно, сама является величиной случайной. Закон распределения зависит, во-первых, от закона распределения величины X (и, в частности, от самого неизвестного параметра q); во-вторых, от числа опытов n. В принципе этот закон распределения может быть найден известными методами теории вероятностей.
Предъявим к оценке ряд требований, которым она должна удовлетворять, чтобы быть в каком-то смысле «доброкачественной» оценкой.
Пусть (Х1…,Хn) выборка из распределения P и F(x) и Fn(х) соответственно теоретическая и эмпирическая функции распределения. На
|
|
|
Fn(х) можно смотреть как на функцию распределения некоторой дискретной
случайной величины, принимающей n значений: Х1…,Хn c вероятностями, равными 1/n (если какое-либо значение встретится в выборке k
раз, то этому значению соответствует вероятность k/n). Об этом распределении говорят как об эмпирическом (экспериментальном) или выборочном распределении (отсюда и термин эмпирическая функция распределения для Fn(х)) Как для исходного распределения P вводятся различные числовые характеристики (математическое ожидание, или среднее, дисперсия, моменты и т. д.), так и для эмпирическогo распределения, связанного с выборкой (Х1…,Хn), вводятся аналогичные характеристики, называемые эмпирическими (или выборочными): выборочное среднее, выборочная дисперсия и т.д. Таким образом, эмпирическая (или выборочная) характеристика является статистическим аналогом соответствующей теоретической характеристики, аналогично тому, как эмпирическая функция распределения Fn(х) является статистическим аналогом теоретической функции распределения F(x). В общем случае, если g = Eg(X) есть некоторая теоретическая характеристика наблюдаемой случайной величины, то ее статистический аналог, т. е. соответствующая эмпирическая (или выборочная) характеристика, вычисляется по формуле 
Замечание 24.1. Любое значение искомого параметра, вычисленное на основе ограниченного числа опытов, всегда будет содержать элемент случайности. Такое приближенное, случайное значение мы будем называть оценкой параметра. Например, оценкой для математического ожидания может служить среднее арифметическое наблюденных значений случайной величины в n независимых опытах. При очень большом числе опытов среднее арифметическое будет с большой вероятностью весьма близко к математическому ожиданию. Если же число опытов n невелико, то замена математического ожидания средним арифметическим приводит к какой-то ошибке. Эта ошибка в среднем тем больше, чем меньше число опытов. Так же будет обстоять дело и с оценками других неизвестных параметров. Любая из таких оценок случайна; при пользовании ею неизбежны ошибки. Желательно выбрать такую оценку, чтобы эти ошибки были по возможности минимальными.
|
|
|
Оценка неизвестных параметров. Задача оценивания неизвестных параметров возникает в тех случаях, когда функция распределения генеральной совокупности известна с точностью до параметра θ (тета: обозначение параметра). В этом случае необходимо найти такую статистику (функцию) (Х1…,Хn), выборочное значение = (x1, x2, …xn) которой для рассматриваемой реализации (x1, x2, …xn) случайной выборки можно было бы считать приближенным значением параметра .
Статистику (Х1…,Хn), выборочное значение которой для любой реализации (x1, x2, …xn) принимают за приближенное значение неизвестного параметра θ, называют его точечной оценкой или просто оценкой, а — значением точечной оценки (просто оценки).
Возможным является и иной подход к решению рассматриваемой задачи: найти такие статистики * (Х1…,Хn) и * (Х1…,Хn) чтобы с вероятностью α выполнялось неравенство P ( * (Х1…,Хn) ≤ θ ≤ * (Х1…,Хn)) = α, то есть с заданной вероятностью значение параметра попадало бы в полученный интервал.
В этом случае говорят об интервальной оценке для θ. Интервал
( * (Х1…,Хn) ≤ θ ≤ * (Х1…,Хn))называют доверительным интервалом для θ с коэффициентом (уровнем) доверия α
Точечные оценки
Замечание 24.2.. Термин «точечная» связан с тем, что в качестве заменителя неизвестного параметра предлагается конкретное число. Это «хорошо», поскольку позволяет поставить конкретное значение в формулу распределения и тем самым полностью его восстановить, и «плохо», поскольку мы не знаем, насколько хорошо наше приближение. Соответствующие формулы являются асимптотическими и является ли наше (точное) n (точно) достаточным для такого вывода неочевидно. Более того (как будет показано далее) существует непреодолимый «зазор» между оценкой и истинным значением параметра (информационное неравенство) о-
Итак, оценка - это функция от нашей выборки. Но функций от выборки можно придумать великое множество. Очевидно, что эта функция должна еще «хорошо приближать» оцениваемый параметр. Поэтому оценка должна удовлетворять нескольким условиям:
|
|
|
Определения 24.1.
Оценка (Х1…,Хn) называется состоятельной оценкой параметра θ, если
(Х1…,Хn)→ θ по вероятности при n→∞
Кроме того, желательно, чтобы, пользуясь величиной вместо θ, мы по крайней мере не делали систематической ошибки в сторону завышения или занижения, т. е. чтобы выполнялось условие
Оценка (Х1…,Хn)называется несмещенной, если
Е ( (Х1…,Хn)) = θ
Наконец, желательно, чтобы выбранная несмещенная оценка обладала по сравнению с другими «хорошими» оценками наименьшей дисперсией, т. е.
D[ ] = min.
Оценка, обладающая таким свойством, называется эффективной.
Замечание 24.3. На практике не всегда удается удовлетворить всем этим требованиям. Например, может оказаться, что, даже если эффективная оценка существует, формулы для ее вычисления оказываются слишком сложными, и приходится удовлетворяться другой оценкой, дисперсия которой несколько больше. Иногда применяются - в интересах простоты расчетов - незначительно смещенные оценки (см., например, описание выборочной дисперсии). Таким образом, выбор оценки всегда предваряется рассмотрением соответствия ее указанным требованиям и ее эффективности.
Замечание 24.4. Несмещенность и состоятельность – это лишь два из требований, предъявляемых к оценкам. Также существенными является (не рассматриваемая здесь) инвариантность относительно сдвига, и др.
Определение 24.2. Выборочное среднее 
= 
. Выборочное среднее является средним значением (математическим ожиданием) для эмпирической функции распределения.
Пример 24.1. Выборочное среднее является несмещенной состоятельной оценкой для математического ожидания.
Определение 24.3. Выборочная дисперсия 
. Выборочная дисперсия характеризует среднеквадратичное отклонение выборочных величин от выборочного среднего.
|
|
|
Замечание 24.5. В определении выборочной дисперсии должен бы использоваться множитель 
(смещенная оценка), а не 
, но тогда не соблюдается условие несмещенности. Выборочную дисперсию с множителем называют еще исправленной выборочной дисперсией.
Пример 24.2. Выборочная дисперсия является несмещенной состоятельной оценкой для дисперсии
Замечание 24.6. Так же как и для дисперсии (см. свойства дисперсии) для выборочной дисперсии для удобства вычислений нередко пользуются таким равенством:
Пример 24.3. Дана выборка 92, 94, 103, 105, 106. Найти оценки для математического ожидания и (несмещенную) дисперсии.
Выборочное среднее:
Определение 24.4. Выборочный (начальный) момент порядка k
. Выборочный момент является моментом порядка k для эмпирической функции распределения.
Пример 24.3. Выборочный момент порядка k является несмещенной состоятельной оценкой начального момента k-го порядка.
Замечание 24.7. Аналогично случаю начальных моментов случайной величины Х, выборочное среднее (выборочное математическое ожидание) является выборочным начальным моментом 1 порядка
Определение 24.5. Выборочный (центральный) момент порядка k
Пример 24.4. Выборочный центральный момент k-го порядка является состоятельной оценкой центрального момента k-го порядка.
Замечание 24.8. Аналогично случаю центральных моментов случайной величины Х, выборочная дисперсия является выборочным центральным моментом 2
порядка
Определение 24.6. Случайной выборкой объема n, отвечающей паре случайных величин (X,Y) называется набор n независимых, одинаково распределенных пар случайных величин (X1, Y1), (X2, Y2), … (Xn, Yn), каждая из которых имеет такое же совместное распределение как и пара величин (X,Y)
Определение 24.7. Выборочная ковариация 
Определение 24.8. Выборочный коэффициент корреляции
Пример 24.5. Выборочная ковариация является несмещенной состоятельной оценкой ковариации
Пример 24.6. Выборочный коэффициент корреляции является состоятельной оценкой коэффициента корреляции
Вернемся к рассмотрению эффективной оценки . Из группы оценок, удовлетворяющих несмещенности, состоятельности и пр., выбирают наиболее эффективную, то есть оценку с наименьшей дисперсией
Рассмотренные выше оценки являются наиболее эффективными (в своих классах).
Замечание 24.9. Иногда вместо термина „эффективная оценка" говорят „несмещенная оценка с минимальной дисперсией", „оптимальная оценка".
Итак, дисперсия оценки – часто используемая мера качества оценки. Чем она меньше, тем оценка лучше. Однако, при определенных условиях существует нижняя граница для величины этой дисперсии, которую уже нельзя улучшить. То есть, даже самая лучшая оценка будет иметь дисперсию не меньшую некоторой величины. Соответствующее утверждение носит название Неравенства Рао-Крамера.
|
|
|
D (Х1…,Хn)³ 1 / nI(q), где 
- количество информации по Фишеру (информация Фишера) – частная производная логарифма плотности (в случае непрерывной модели, или вероятности – дискретной) по параметру, а (Х1…,Хn) - несмещенная оценка неизвестного параметра θ.
Определение 24.8. Оценка (Х1…,Хn) называется асимптотически нормальной с дисперсией Δ2, если
( – q) сходится при n →∞ по распределению к стандартному нормальному закону (нормальное распределение при нулевом математическом ожидании и дисперсии, равной 1)
|
|
|
