Тема 2. Критерии согласия

Для практического применения методов теории вероятностей и математической статистики чрезвычайно важным является знание закона распределения вероятностей изучаемой величины. Это знание позволяет также решать многие практические задачи, связанные с прогнозированием.

Попытка применить методы анализа результатов наблюдений, разработанные для конкретных законов распределения вероятностей, в условиях, когда реальное распределение отличается от гипотетического, является самой распространенной на практике ошибкой, приводящей к неверным выводам.

Именно поэтому любая обработка результатов наблюдений должна неизменно начинаться с ответа на главный вопрос: каково распределение вероятностей обрабатываемого ряда случайных величин? На практике эта проблема обычно формулируется следующим образом: выдвигается гипотеза – «наблюдаемое распределение описывается некоторым конкретным законом (нормальным, показательным и т.п.)». Задача первичного исследования – принять ил отклонить выдвинутую гипотезу.

В классификации статистических критериев проверки гипотез о законе распределения принята определенная терминология. Такие критерии подразделяются на 2 класса:

· Общие критерии согласия – применимы к самой общей формулировке гипотезы, как гипотезы о согласии наблюдаемых результатов с любым априори предполагаемым распределением вероятностей;

· Специальные критерии согласия – предполагают специальные нулевые гипотезы, формулирующие согласие с определенной формой распределения вероятностей – нормальной, экспоненциальной и т.д.

Причем, при формулировке специальных требований общие критерии могут быть трансформированы в специальные критерии.

В экспериментальных исследованиях закон распределения часто заранее неизвестен. Следовательно, возникает задача определить его на основе экспериментальных данных. Эта задача решается в два этапа:

· На первом этапе делают предположение о виде неизвестного закона, то есть о виде теоретической функции распределения (из теории вероятностей известно, что функция распределения вероятностей полностью описывает случайную величину). Это предположение делается на основе эмпирической функции распределения , на основе гистограммы или из некоторых теоретических соображений.

· На втором этапе выдвигают и проверяют гипотезу , при конкурирующей гипотезе , где - функция распределения вероятностей изучаемой случайной величины (оценкой этой функции является эмпирическая функция распределения ), - гипотетическая (предполагаемая) функция распределения вероятностей.

Все известные общие критерии можно разбить на три основные группы:

· критерии, основанные на изучении разности между теоретической плотностью распределения и эмпирической гистограммой;

· критерии, основанные на расстоянии между эмпирической и теоретической функцией распределения вероятностей;

· корреляционно-регрессионные критерии, основанные на изучении корреляционных и регрессионных связей между эмпирическими и теоретическими порядковыми статистиками.

К первой группе относится - критерий Пирсона, ко второй - l-критерий Колмогорова (во многих пособиях его называют критерием Колмогорова – Смирнова).

Критерий согласия гибок, легко используется, но имеет элемент произвола в выборе границ группирования экспериментальных данных. Критерий Колмогорова свободен от этих недостатков, имеет хорошую мощность по сравнению с другими, но для выборок среднего объема часто непригоден.

Кроме того, следует избегать ошибки, совершаемой большинством исследователей. Общие критерии согласия предполагают знание теоретического закона распределения с точностью до параметров. В реальных ситуациях это бывает редко. Тогда исследователь разрешает проблему простейшим способом – проводит оценку параметров по самой выборке. Этого делать нельзя, так как достоверность полученных таким образом статистических выводов может быть сильно искажена. Проблему можно решить с помощью модификаций критериев или введения специальных поправок. Например, при проверке нормальности распределения с помощью критерия Колмогорова в случае сложной гипотезы (когда параметры распределения оцениваются по выборке), вводится поправка Лиллиефорса.

Нормальный закон распределения вероятностей получил наибольшее распространение в практических задачах обработки экспериментальных данных. Многие задачи математической статистики исходят из предположения о нормальности распределения вероятностей изучаемых величин. Широкое распространение этого распределения вызвало необходимость разработки специальных критериев согласия эмпирических распределений с нормальным.

К группе специальных критериев относятся критерий асимметрии и эксцесса и критерий Шапиро-Уилка.