Проверка статистических гипотез основывается на принципе, в соответствии с которым маловероятные события считаются невозможными, а события, имеющие большую вероятность, считаются достоверными. Этот принцип можно реализовать следующим образом. Перед анализом выборки фиксируется некоторая малая вероятность – уровень значимости.

Пусть – множество значений статистики , а – такое подмножество, что при условии истинности гипотезы вероятность попадания статистики критерия в равна , то есть . Множество значений статистики можно разбить на два подмножества: подмножество значений статистики, при которых нулевая гипотеза отклоняется и принимается гипотеза , называется критической областью; подмножество значений статистики, при которых нулевая гипотеза не отклоняется, называется областью принятия гипотезы .

Так как гипотеза проверяется путем анализа выборки, полученной из генеральной совокупности, то из-за случайности выборки в результате проверки возможны ошибки. Различают ошибки первого и второго рода. Ошибка первого рода возникает, если будет опровергнута правильная нулевая гипотеза. При ошибке второго рода принимается неправильная нулевая гипотеза. Вероятность ошибки первого рода равна вероятности попадания статистики критерия в критическую область при условии, что верна нулевая гипотеза, то есть, равна уровню значимости :

Вероятность ошибки второго рода можно вычислить по формуле

Критерий, основанный на использовании заранее заданного уровня значимости, называется критерием значимости. Уровень значимости определяет размер критической области . Положение критической области на множестве значений статистики зависит от формулировки альтернативной гипотезы. Например, если проверяется гипотеза , а альтернативная гипотеза формулируется, как , то критическая область размещается на правом (левом) “хвосте” распределения статистики , то есть имеет вид неравенства , где и квантили распределения статистики , при условии что верна гипотеза .

В этом случае критерий называется односторонним, соответственно правосторонним и левосторонним. Если альтернативная гипотеза формируется, как , то критическая область размещается на обоих «хвостах» распределения , то есть определяется совокупностью неравенств и ; в этом случае критерий называется двусторонним.

Замечание. Наиболее часто уровень значимости принимают равный 0,05 или 0,01. Если, например, принят уровень значимости, равный 0,05, то это означает, что в пяти случаях из ста имеется риск допустить ошибку первого рода (отвергнуть правильную гипотезу).