 |
Метод максимального правдоподобия
|
|
|
|
Изучается, как и прежде, случайная величина x, распределение которой задается либо вероятностями её значений 
, если x дискретна, либо плотностью распределения 
, если x непрерывна, где 
- неизвестный векторный параметр. Пусть ( 
) - выборка значений x. Естественно в качестве оценки 
взять то значение параметра, при котором вероятность получения уже имеющейся выборки максимальна.
Выражение
называют функцией правдоподобия, она представляет собой совместное распределение или совместную плотность случайного вектора с n независимыми координатами, каждая из которых имеет то же распределение (плотность), что и x.
В качестве оценки неизвестного параметра 
берется такое его значение 
, которое доставляет максимум функции 
, рассматриваемой как функции от при фиксированных значениях 
. Оценку называют оценкой максимального правдоподобия. Заметим, что зависит от объема выборки n и выборочных значений 
,
и, следовательно, сама является случайной величиной.
Отыскание точки максимума функции 
представляет собой отдельную задачу, которая облегчается, если функция дифференцируема по параметру .
В этом случае удобно вместо функции рассматривать её логарифм, поскольку точки экстремума функции и её логарифма совпадают.
Методы дифференциального исчисления позволяют найти точки, подозрительные на экстремум, а затем выяснить, в какой из них достигается максимум.
С этой целью рассматриваем вначале систему уравнений
(25.2)
решения которой 
- точки, подозрительные на экстремум. Затем по известной методике, вычисляя значения вторых производных
по знаку определителя, составленного из этих значений, находим точку максимума.
|
|
|
Оценки, полученные по методу максимального правдоподобия, состоятельны, хотя могут оказаться смещенными.
Рассмотрим примеры.
Пример 25.2. Пусть производится некоторый случайный эксперимент, исходом которого может быть некоторое события А, вероятность Р(А) которого неизвестна и подлежит оцениванию.
Решение.
Введем случайную величину x равенством
| |
если событие А произошло,
если событие А не произошло (произошло событие 
).
Распределение случайной величины x задается равенством
Выборкой в данном случае будет конечная последовательность ( 
), где каждое из 
может быть равно 0 либо 1.
Функция правдоподобия будет иметь вид
Найдем точку её максимума по р, для чего вычислим производную логарифма
Обозначим 
- это число равно количеству единиц «успехов» в выбранной последовательности.
Приравняем полученную производную к нулю
и решим полученное уравнение
.
Поскольку производная 
меняет знак с «+» на «-» при возрастании р от 0 до 1, точка 
есть точка максимума функции L, а 
- оценка максимального правдоподобия параметра р. Заметим, что отношение 
есть частота появления события А в первых n испытаниях.
Поскольку m есть число «успехов» в последовательности n независимых испытаний (в схеме Бернулли), то 
, и - несмещенная оценка. В силу закона больших чисел Бернулли 
стремится по вероятности к р, и оценка состоятельна.
Пример 25.3. Построим оценки неизвестных математического ожидания и дисперсии нормально распределенной случайной величины x с параметрами 
.
Р е ш е н и е.
В условиях примера случайная величина определяется плотностью распределения
.
Сразу выпишем логарифм функции правдоподобия
.
Составим систему уравнений для нахождения экстремальных точек
Из первого уравнения находим 
, из второго, подставляя найденное значение a, находим 
.
Вычислим вторые производные функции lnL в точке ( 
):
|
|
|
А = 
,В = 
,С = 
.
Поскольку определитель
,
а А < 0, то найденная точка в самом деле точка максимума функции правдоподобия.
Заметим, что оценка 
есть выборочное среднее (несмещенная и состоятельная оценка математического ожидания), а 
- выборочная дисперсия (смещенная оценка дисперсии).
|
|
|
