5. ПРОВЕРКА СТАТИСТИЧЕСКИХ ГИПОТЕЗ. КРИТЕРИИ СОГЛАСИЯ

5.1. Понятие статистической гипотезы. Основные этапы проверки гипотез

5.2. Критерий Неймана – Пирсона

5.3. Проверка гипотез о числовых значениях параметров нормального распределения

5.4. Проверка гипотез о параметрах двух нормальных распределений

5.5. Лабораторная работа № 5. Проверка статистических гипотез о числовых значениях нормальных распределений в математических пакетах STATGRAPHICS и MATHCAD

5.6. Критерии согласия

Решение

5.7. Лабораторная работа № 6. Критерии согласия в статистическом пакете STATGRAPHICS

5.8. Лабораторная работа №7. Критерии согласия в математическом пакете MATHCAD

6. ОДНОФАКТОРНЫЙ ДИСПЕРСИОННЫЙ АНАЛИЗ

6.1. Постановка задачи

6.2. Дисперсионный анализ

Решение

6.3. Ранговый однофакторный анализ

6.4. Критерий Краскела - Уоллиса (Н-критерий)

Решение

6.5. Лабораторная работа № 8. Однофакторный ранговый и дисперсионный анализ в статистическом пакете STATGRAPHICS

7. РЕГРЕССИОННЫЙ АНАЛИЗ

7.1. Модели регрессии

7.4. Проверка адекватности линейной регрессии

7.5. Выбор наилучшей регрессии

8. НЕПАРАМЕТРИЧЕСКИЕ МЕТОДЫ СТАТИСТИКИ

8.2. Критерий знаков

8.3. Критерий знаков для одномерной выборки

8.4. Ранговый критерий (одновыборочный критерий Вилкоксона)

8.5. Двухвыборочный ранговый критерий Вилкоксона

5.2. Критерий Неймана – Пирсона

Если имеется некоторая выборка x 1 ,x 2 ,...,x n , то с помощью заданных ошибок первого и второго рода α и β можно решать задачу о наилучшем критерии. Именно по заданному значению уровня значимости α ищется такой критерий, чтобы его мощность 1− β была максимальна. Введем

предварительно несколько обозначений и определений.

Размером α0 критерия называется максимальное значение вероятности ошибки первого рода при использовании данного критерия, т.е.

Равномерно наиболее мощные критерии существуют в крайне редких слу-

чаях, например, в случае простых гипотез H 0 иH 1 .				x 1 ,x 2 ,...,x n
Рассмотрим	две простые гипотезы
H 0 : F (x ) =F 0 (x )	и H 1 :F (x ) = F 1 (x ) , где	F0 (x)	и F 1 (x )	Известные

функции распределения. В этом случае равномерно наиболее мощный критерий называется критерием отношения правдоподобия и описывается следующим образом. Введем статистику

	Λ(x, x						(x 1 ,x 2 ,...,x n )
							(x 1	X 2 ,...,x n )
где L 0 (x 1 ,x 2 ,...,x n ) = f (x 1 )		f (x2 ) ... f(xn )						для непрерывной случайной
величины	X иL 0 (x 1 ,x 2 ,...,x n ) = P (x 1 ) P (x 2 ) ...P (x n )									для дискретной.
Статистика	Λ(x 1 ,x 2 ,...,x n ) носит название отношения правдоподобия и

является отношением вероятностей (или плотностей распределения) получить выборку x 1 ,x 2 ,...,x n при условии справедливости гипотезH 0 иH 1 .

Естественно предположить, что чем больше отношение правдоподобия, тем большее предпочтение мы должны оказать гипотезе H 1 . Об этом го-

вориться в лемме Неймана - Пирсона.

Лемма Неймана – Пирсона. Среди всех критериев заданного уровня значимостиα , проверяющих две простые гипотезыH 0 иH 1 , кри-

терий отношения правдоподобия является наиболее мощным.

При практической реализации критерия отношения правдоподобия обычно удобно пользоваться не отношением правдоподобия, а его лога-

Λ > C . В соответствии с общим правилом уровень значимости α и мощность 1− β критерия отношения правдоподобия в зависимости от крити-

ческого значения C определяются по формулам:

α =α (C ) =P (Λ(x 1

X 2 ,...,x n ) > C H 0 ) =

) dx dx

) ...f

Λ(x, x

P (Λ(x 1

X 2 ,...,x n ) > C H 1 ) =

β =β (C ) =

= ∫ ...∫

(x 1 )

(x2 ) ... f1 (xn ) dx1 dx2 ... dxn .

Λ(x, x

x 1 ,x 2 ,...,x n N (m ,D )

H0 : m= a0 ,

H 1 :m = a 1 > a 0 . Воспользуемся критерием Неймана – Пирсона. Крити-

гипотезы

определена

Λ(x 1 ,x 2 ,...,x n )> C .

(x i ) =

(x i − a 0 )2

2 D,

2π D

−a 1 ) 2

−a

n −

∑ (xi

f (x) =

e−

Тогда Λ (x ,x

2 π D) e

i= 1

> C .

2π D

∑(x

−a

(1 2π D ) n e

2 Di = 1

Упростим последнее выражение:

					)2 − (x
			∑(x	−a		−a
		i= 1						> C ,

∑ n [(x i −a 0 )2 − (x i −a 1 )2 ]=∑ n (x i 2

i = 1

i = 1

	]> 2D lnC ,
∑ [(x i −a 0 )2 − (x i −a 1 )2
i= 1

− 2 x i a 0 +a 0 2 −x i 2 +2 x i a 1 2 −a 1 2 )=

	2 ∑ x i (a 0 −a 1 )+n (a 0 2 −a 1 2 )>2 D ln C ,									∑ x i= m X=
		i = 1							n i = 1
				2 Dln C− n(a0 2 − a1 2 ) = ϕ(C , D , a			A) = C.			Итак, m	> C , а так как
				2 (a 0 −a 1 )
					D n ) , то можно по этому неравенству найтиC , зная α, на-

пример,			− a			− a
	α = P

C 1− a 0

− t2	dt = 1			− a

Таким образом, по α находится C 1 из

		− a			= α. Кроме того,
1 − Φ

		− a		− a
ства β = P		1 ≤

можно найти и β

Φ C 1− a 1. D n

решения уравнения

из аналогичного равен-

5.3. Проверка гипотез о числовых значениях параметров нормального распределения

Обозначим через X случайную величину, имеющую нормальный закон распределения с параметрамиm X иD X , т.е.X N (m X ,D X ) , при-

чем числовые значения либо одного, либо обоих параметров неизвестны. Узнать, каково численное значение неизвестного параметра, можно, обследовав всю генеральную совокупность, что сделать, как правило, нельзя.

Обычно вместо этого проводят выборочные наблюдения, предполагая при этом, что они независимы и проводятся в одинаковых условиях. Тогда

несмещенными

оценками

являются

∑x

n i = 1

∑ (x i −m X )

Затем приступают к проверке гипотез.

n − 1 i = 1

1. Проверка

гипотезы

числовом

значении

математического

ожидания нормального распределения при известной дисперсии

Нулевая гипотеза здесь

H 0 :m X = a 0 , а альтернативная гипотеза мо-

сформулирована

H 1: m X = a 1> a 0,

2) H 1 :m X = a 1 < a 0 , 3)H 1 :m X = a 1 ≠ a 0 .

Зададим уровень значимости критерия α, а так как D X

известна, то в

качестве

статистики

критерия

случайную

величину

z = m X − a 0 .

mX N(a0 , DX n) ,

что было уже несколько раз

показано ранее, ибо x i N (a 0 ,D X ) , тоz N (0,1) .

Выделим критическую область ω статистики z , при которойH 0 отвергается. Размер и расположение критической области зависят от форму-

альтернативной

f (z H0 )

гипотезы. Рассмотрим 3-й

H 1: m X = a 1≠ a 0,

здесь целесообразно выбрать

двусторонний

критерий

(рис. 5.6). Критическую об-

α 2

ласть образуют два интерва-

α 2

(− ∞ , z лев,α 2)

(z пр,α 2, +∞) .

Критические

W \ ω

точки определяются из ус-

t α2

t 1 −α2

ловий P (z < z лев, α 2 )= α 2 и

Рис. 5.6. Двусторонняя критическая область для

P (z > z пр, α 2 )= α 2. Так как

матожидания

z N (0,1) , то

критические

точки – это квантили нор-

мального

распределения

лев,α 2

α 2

= Φ− 1 (α2 ), а z

пр,α 2

= Φ− 1 (1 − α2 ).

1 −α2

∑ x i . Еслиz в ω , гипотеза

отвергается с уровнем значимо-

n i = 1

сти α и принимается гипотеза

H 1 . Если жеz в W \ ω , то гипотеза

принимается.

2. Проверка гипотезы о числовом значении математического ожидания нормального распределения при неизвестной дисперсии.

В этом случае отличие от предыдущих формул и предположений будет касаться лишь статистики критерия z и ее распределения. Выберем в

качестве статистики величину z = (m X ) − a 0 ) . Как было уже показано

ранее (см. подразд. 4.7, п. 2), эта статистика имеет распределение Стьюдента с (n − 1) - й степенью свободы, т.е.z S n − 1 (t ) . Все остальные пунк-

ты проверки остаются без изменений. Например, если выбрана альтернативная гипотеза 2-го видаH 1 :m X = a 1 < a 0 (рис. 5.7), критическая об-

ласть будет левосторонней, ее образует один интервал (−∞ ,z лев,α ) ,

P (z < z лев,α= t α,n − 1)= α

t α,n − 1

∫ s (t ) dt = α, т.е.

t α,n − 1= S

−1

(α )

t α,n − 1

W \ ω

Рис. 5.7. Левосторонняя критическая область

для матожидания

3. Проверка гипотезы о числовом значении дисперсии нормаль-

ного распределения.

в этом случае известно, что X N (m X ,D ) , но числовое значе-

ние дисперсии неизвестно. По выборке наблюдений x 1 ,x 2 ,...,x n

вычислим

точечные оценки m X =

∑x i

и D X =

∑ (x i −m X )

и проверим ги-

n i = 1

n − 1 i = 1

H 0 :D X = D 0 , гдеD 0 - заранее заданное число. В качестве стати-

гипотезы

случайную

величину

D X (n − 1) D 0 . Ранее (см. подразд. 4.7) было показано, что эта случай-

величина

имеет χ2 -распределение

n − 1

степенью свободы, т.е.

z χ n 2 − 1 .

z и определения ее распределения все ос-

После выбора статистики

тальные вопросы проверки гипотезы носят технический характер. Зададимся уровнем значимости α, сформулируем альтернативную гипотезу и

перейдем к построению критической области и проверке H 0 . Рассмотрим правосторонний критерий, т.е. альтернативная гипотеза должна быть

сформулирована в виде	H 1 :D X > D 0 , (рис. 5.8). Критическую область
образует один интервал	(z пр,1 − α ,+∞) , где точкаz пр,1 − α есть 1− α - про-
центный квантиль χ2 -распределения,		определяется из условия
P (z >z пр,1 − α ) =α или
	∫ kn − 1 (t) dt= α,	т.е. z пр,1 − α = K − 1 (1− α) . Далее

z п р,1− α

Критерий Неймана-Пирсона

Критерий Неймана-Пирсона применяется в двоичных системах в ситуациях, когда невозможно определить априорные вероятности отдельных сообщений, а последствия ошибок разного рода неодинаковы. Такая ситуация типична для радиолокации, где осуществляется зондирование пространства узким радиолучом и прием отраженного от цели сигнала. При этом имеют место две ситуации: 1) наличие цели – колебание на входе приемника содержит сигнал в аддитивной смеси с помехой (с неизвестной априорной вероятностью P (b 1)), 2) отсутствие цели – на входе приемника действует одна помеха (с вероятностью P (b 0) = 1 – P (b 1)). Задача приема – обнаружение сигнала на фоне помех. При ее реализации возможны два вида ошибок:

1) пропуск цели (цель есть, но отраженный сигнал не обнаружен) с условной вероятностью ;

2) ложная тревога (цель отсутствует, но принято решение о наличии отраженного сигнала) с условной вероятностью .

Очевидно, что последствия этих ошибок сильно различаются.

В таком случае целесообразно стремиться к уменьшению условной вероятности ошибки, вызывающей особо тяжелые последствия (пропуск цели), что можно сделать только за счет увеличения вероятности ошибки другого вида (ложной тревоги). Ясно, что это можно делать до определенной степени, т. к. слишком большая вероятность ложной тревоги приведет к ощутимым экономическим потерям и к подрыву доверия к системе в целом. Разумный выход – зафиксировать вероятность ложной тревоги на выбранном уровне ε

, (6.8)

и затем минимизировать вероятность пропуска цели

Минимизация (6.9) при заданной величине (6.8) достигается, если решение о наличии цели принимается при выполнении неравенства

,

где λ(ε) – пороговый уровень, определяемый заданной вероятностью ложной тревоги.

Контрольные вопросы

1. Сформулируйте задачу оптимального приема дискретных сообщений.

2. Дайте геометрическую трактовку задаче оптимального приема дискретных сообщений.

3. Что называют правилом решения (решающей схемой) демодулятора?

4. Что такое идеальный (оптимальный) приемник дискретных сообщений?

5. Что понимают под потенциальной помехоустойчивостью приема дискретных сообщений?

6. В чем суть теории потенциальной помехоустойчивости? Когда и кем были заложены ее основы?

7. Какой смысл вкладывают в понятие критерия качества приема дискретных сообщений? Перечислите известные Вам критерии.

8. В чем суть критерия идеального наблюдателя (критерия Котельникова)?

9. Укажите особенности критерия Котельникова.

10. Что представляет собой критерий максимального правдоподобия? Как он соотносится с критерием Котельникова?

Ситуация, в которой практически невозможно определить априорную вероятность передачи отдельных элементарных сообщений, а последствия ошибок разного рода неодинаковы, типична для радиолокации, когда приёмник, анализируя принимаемое колебание z (t ) (отражённый сигнал плюс помеха), должен определить, имеется в данном направлении и на данном расстоянии объект наблюдения (цель) или нет. Как правило, априорная вероятность наличия отражённого от цели сигнала (передачи 1) заранее не известна. Последствия двух родов ошибок - ложной тревоги (приемник фиксирует, что цель существует, в то время как в действительности её нет) и пропуска цели (приёмник отмечает отсутствие цели, в то время как фактически она имеется) - неравноценны.

В этой и других сходных ситуациях чаще всего пользуются критерием приёма, известным под названием критерия Неймана-Пирсона. Суть его заключается в том, что решающая схема считается оптимальной, если при заданной вероятности ложной тревоги р ЛТ обеспечивается минимальная вероятность пропуска цели р прц . Введём в рассмотрение функции правдоподобия гипотезы об отсутствии цели w (z|0)и о наличии цели w (z|1)

Очевидно, что можно различными способами разбить пространство принимаемых колебаний z(t ) на две области: B 0 (область решения об отсутствии цели) и B 1 , (о наличии цели) -так, чтобы вероятность ложной тревоги

равнялась заданной величине. Поскольку в локации символ 0 (отсутствие цели) передаётся паузой, то w (z |о) - это плотность распределения помехи. Следовательно, вероятность ложной тревоги определяется вероятностными характеристиками помехи и выбором области B 1 . Но от выбора этой области зависит и вероятность правильного обнаружения цели:

где p прц - вероятность пропуска цели.

Интегралы в (16), (17) и в аналогичных других формулах, взятые по векторной переменной, очевидно, многократные.

Максимизация (17) при заданной величине (16) достигается, если решение о наличии цели принимается при выполнении неравенства

,

где l - пороговый уровень, определяемый заданной вероятностью ложной тревоги р ЛТ.

Существуют и другие критерии качества приёма, не требующие знания априорных вероятностей символов.

В технике связи преимущественно применяют правило максимального правдоподобия (12), (13). В том случае, когда все символы передаются равновероятно, правило максимального правдоподобия реализует критерий идеального наблюдателя. Однако очень часто это правило решения применяют и при неизвестных или известных, но не одинаковых априорных вероятностях символов. Конечно, оно не обеспечивает в этих случаях максимума вероятности правильного приёма. Изменив решающую схему на схему, построенную по правилу максимальной апостериорной вероятности (6), реализующему критерий идеального наблюдателя, можно было бы уменьшить вероятность ошибок. При этом, очевидно, пришлось бы сократить области приёма маловероятных и расширить области высоко вероятных символов. В результате редко передаваемые символы принимались бы менее надёжно, нежели часто передаваемые. Но редкие символы несут больше информации, чем частые. Поэтому переход от правила максимального правдоподобия к правилу максимальной апостериорной вероятности, хотя и уменьшает безусловную вероятность ошибки, может привести к увеличению потери информации при демодуляции. Легко показать, что правило максимального правдоподобия, реализует критерий минимума среднего риска (15), если положить L ij = 0 при i=j и L ij = 1/p (b i ) при j¹i.

Заключение

Выбор критерия качества приема определяет порядок разбиения пространства принимаемых сигналов, т.е. выбор оптимальной решающей схемы приёмного устройства.

В технике связи преимущественно применяют правило максимального правдоподобия, решающую схему которого называют оптимальной.

Разработал

Доктор военных наук, профессор

Обычно в приёмных устройствах демодулятору предшествуют усилители и преобразователи частоты. Здесь все они считаются включёнными в состав канала. В ряде случаев именно они являются основными источниками аддитивных помех канала.

Начало этого отрезка для удобства совместим с началом координат. В принципе интервал анализа на приёме не всегда совпадает с тактовым интервалом Т (см. ниже). Сигналы на тактовом интервале часто будем называть элементом сигнала.

В математической теории связи это разбиение и называют решающей схемой. Заметим, что в некоторых случаях пользуются решающей схемой со стиранием, или отказом от решения. Это значит, что m областей не охватывают всего пространства сигналов и если приходящий сигнал не попадает ни в одну из этих областей, то принимается решение о стирании либо о невозможности определить передаваемый символ.

Вместо неравенств (12) можно было бы просто записать w (z|b i )> w (z|b j ) Сравнение отношений правдоподобия вместо сравнения условных плотностей вероятностей вызвано тем, что понятие отношения правдоподобия можно распространить и на сигналы из бесконечномерного гильбертова пространства, для которых понятие плотностей вероятности w (z|b i ,), w (z|b j ) теряет смысл.

Пусть параметрическое семейство F есть семейство абсолютно непрерывных распределений, и распределениепри гипотезе H j , задается плотностью распределения вероятностейj=0,1. Пусть при любом значении x, принадлежащем множеству возможных значений наблюдаемой случайной величины, выполняется условие:, j=0,1 . Рассмотрим статистику

Будем строить критерий, основанный на статистике l(X) , называемой статистикой отношения правдоподобия .

Cтатистика l(X) может принимать значения

Где x i ? R 1 , i=1,...,n.

Из вероятностного смысла плотности распределения естественно ожидать, что большие значения статистики l(X) скорее всего будут свидетельствовать против основной гипотезы H 0 . Поэтому критическую область естественно задать в виде больших значений статистики l(X):

Где?- вероятность ошибки 1-го рода.

Обозначим через вероятность. Покажем, что с ростом аргументафункцияможет только убывать, при этом. Действительно

Из полученного соотношения (1) следует, что, поэтому, когда.

Чтобы критерий имел заданную вероятность ошибки 1-го рода?, граничная постояннаядолжна удовлетворять условию:

Если существует такое значение =, при котором, то критерий, задаваемый граничной константой, имеет заданную вероятность ошибки 1-го рода. Построенный критерий однозначно определяет вероятность ошибки второго рода?:

Имеет место следующее утверждение.

Лемма Неймана-Пирсона. Среди всех критериев уровня значимости?

для проверки двух простых параметрических гипотез H 0 и H 1

критерий Неймана-Пирсона, задаваемый критической областью

где граничная константа определяется из соотношения (2),

является наиболее мощным.

Доказательство.

Пусть - произвольный критерий уровня значимости?для проверки простых гипотез H 0 и H 1 , отличный от. Его мощность при альтернативе равна

Для критерия Неймана-Пирсона мощность при альтернативе равна

По определению множества вне этого множества (первый интеграл в соотношении (3))

а для элементов множества (второй интеграл в соотношении (3))

Поэтому из соотношения (3) получаем, что

Oба критерия иимеют один и тот же уровень значимости?,

. (Они оба равны?)

Это значит, что оба интеграла в соотношении (4) отличаются от?

на одну и ту же величину

следовательно, они равны, поэтому для любого критерия уровня значимости?, отличного от критерия Неймана-Пирсона, имеет место неравенство

а это означает, что критерий Неймана-Пирсона является наиболее мощным критерием.

Последствия ошибок первого и второго рода часто оказываются соверенно различными. Например, проверяется наличие у человека некоторого опасного заболевания. Неправильное заключение о наличии на самом деле не существующего заболевания приводит к необходимости применения вредных для больного лекарств. С другой стороны, неудача в попытке обнаружить имеющееся заболевание может привести к трагическим последствиям.

Другое обстоятельство, которое часто влияет на выбор уровня значимости - это наше отношение к гипотезе до проведения эксперимента. Если мы твердо верим в истинность гипотезы, то потребуются убедительные свидетельства против неё для того, чтобы мы отказались от своей уверенности. Соответственно уровень значимости будет выбран весьма малым, так как низкий уровень значимости приводит к тому, что гипотеза отвергается при таких комбинациях результатов наблюдений, вероятность которых мала, то есть появление этих результатов крайне неправдоподобно при справедливости проверяемой гипотезы. Заметим, что задача выбора значения уровня значимости критерия?- это не математическая задача.