Одна из часто встречающихся на практике задач, связанных с применением статистических методов, состоит в решении вопроса о том, должно ли на основании данной выборки быть принято или, напротив, отвергнуто некоторое предположение (гипотеза) относительно генеральной совокупности (случайной величины).
Задачи статистической проверки гипотез ставятся в следующем виде: относительно некоторой генеральной совокупности высказывается та или иная гипотеза Н. Из этой генеральной совокупности извлекается выборка. Требуется указать правило, при помощи которого можно было бы по выборке решить вопрос о том, следует ли отклонить гипотезу Н или принять ее.
Следует отметить, что статистическими методами гипотезу можно только опровергнуть или не опровергнуть, но не доказать. Например, для проверки утверждения (гипотеза Н) автора, что "в рукописи нет ошибок", рецензент прочел (изучил) несколько страниц рукописи.
Если он обнаружил хотя бы одну ошибку, то гипотеза Н отвергается, в противном случае – не отвергается, говорят, что "результат проверки с гипотезой согласуется".
Выдвинутая гипотеза может быть правильной или неправильной, поэтому возникает необходимость ее проверки.
Под статистической гипотезой (или просто гипотезой) понимают всякое высказывание (предположение) о генеральной совокупности, проверяемое по выборке.
Статистические гипотезы делятся на гипотезы о параметрах распределения известного вида (это так называемые параметрические гипотезы) и гипотезы о виде неизвестного распределения (непараметрические гипотезы).
Одну из гипотез выделяют в качестве основной (или нулевой) и обозначают , а другую, являющуюся логическим отрицанием , т.е. противоположную – в качестве конкурирующей (или альтернативной) гипотезы и обозначают .
Гипотезу, однозначно фиксирующую распределение наблюдений, называют простой (в ней идет речь об одном значении параметра), в противном случае – сложной.
Имея две гипотезы и , надо на основе выборки принять либо основную гипотезу , либо конкурирующую .
Правило, по которому принимается решение принять или отклонить гипотезу (соответственно, отклонить или принять ), называется статистическим критерием (или просто критерием) проверки гипотезы .
Проверку гипотез осуществляют на основании результатов выборки , из которых формируют функцию выборки , называемой статистикой критерия.
Основной принцип проверки гипотез состоит в следующем. Множество возможных значений статистики критерия разбивается на два непересекающихся подмножества: критическую область S, т.е. область отклонения гипотезы и область принятия этой гипотезы. Если фактически наблюдаемое значение статистики критерия (т.е. значение критерия, вычисленное по выборке: ) попадает в критическую область S, то основная гипотеза отклоняется и принимается альтернативная гипотеза ; если же попадает в , то принимается , а отклоняется.
При проверке гипотезы может быть принято неправильное решение, т.е. могут быть допущены ошибки двух родов.
Ошибка первого рода состоит в том, что отвергается нулевая гипотеза , когда на самом деле она верна.
Ошибка второго рода состоит в том, что отвергается альтернативная гипотеза , когда она на самом деле верна.
Вероятность ошибки 1-го рода (обозначается через ) называется уровнем значимости критерия.
Очевидно, . Чем меньше , тем меньше вероятность отклонить верную гипотезу. Допустимую ошибку 1-го рода обычно задают заранее.
В одних случаях считается возможным пренебречь событиями, вероятность которых меньше 0,05 ( означает, что в среднем в 5 случаях из 100 испытаний верная гипотеза будет отвергнута), в других случаях, когда речь идет, например, о разрушении сооружений, гибели судна и т.п., нельзя пренебречь обстоятельствами, которые могут появиться с вероятностью, равной 0,001.
Обычно для используются стандартные значения: ; 0,01; 0,005; 0,001.
Вероятность ошибки 2-го рода обозначается через , т.е. .
Величину , т.е. вероятность недопущения ошибки 2-го рода (отвергнуть неверную гипотезу , принять верную ), называется мощностью критерия.
Очевидно, .
Чем больше мощность критерия, тем вероятность ошибки 2-го рода меньше, что, конечно, желательно (как и уменьшение ).
Последствия ошибок 1-го, 2-го рода могут быть совершенно различными: в одних случаях надо минимизировать , в другом – . Так, применительно к судебной системе, ошибка 1-го рода приводит к оправданию виновного, ошибка 2-го рода – осуждению невиновного.
Отметим, что одновременное уменьшение ошибок 1-го и 2-го рода возможно лишь при увеличении объема выборок. Поэтому обычно при заданном уровне значимости отыскивается критерий с наибольшей мощностью.
Методика проверки гипотез сводится к следующему: