П.2. Критерий согласия Пирсона (c2). Применение χ2-критерия для проверки гипотезы о равенстве двух или нескольких долей 2 критерия

П.2. Критерий согласия Пирсона (c2). Применение χ2-критерия для проверки гипотезы о равенстве двух или нескольких долей 2 критерия

02.07.2020

Критерий применяется в двух случаях:

1) для сопоставления эмпирического распределения признака с теоретическим (равномерным, нормальным или каким-то иным);

2) для сопоставления двух эмпирических распределений одного и того же признака.

Критерий отвечает на вопрос о том, с одинаковой ли частотой встречаются разные значения признака в эмпирическом и теоретическом распределениях или в двух эмпирических распределениях.

Признак может быть измерен по любой шкале, даже номинальной.

Ограничения:

2) теоретическая частота для каждой ячейки таблицы не должна быть меньше 5: f³5. Это означает, что если число разрядов задано заранее и не может быть изменено, то мы можем применять метод c 2 , только накопив определенное минимальное число наблюдений. Так, если количество разрядов (k ) задано заранее, минимальное число наблюдений (n min) определяется по формуле: n min = 5k

3) выбранные разряды должны «вычерпывать» все распределение, то есть охватывать весь диапазон вариативности признаков. При этом группировка на разряды должна быть одинаковой во всех сопоставляемых распределениях;

4) необходимо вносить поправку на непрерывность при сопоставлении распределений признаков, которые применяют всего 2 значения. При внесении поправки значение c 2 уменьшается;

5) разряды должны быть неперекрещивающимися: если наблюдение отнесено к одному разряду, то оно уже не может отнесено ни к какому другому разряду.

Вычисление критерия:

1) при сравнении эмпирического с теоретическим равномерным распределением. Для этого лучше воспользоваться таблицей 34.

Таблица 34

Разряды f эj f т (f э j -f т) (f э j -f т) 2 (f э j -f т)/f т

Здесь в 1 столбике даются наименования разрядов,

во 2 столбике даются эмпирические частоты по каждому разряду f э j , где j меняется от 1 до k ,

в 3 столбике теоретическая частота, одинаковая для каждого разряда и вычисленная по формуле f т =n/k,

в 4 столбике находится разность между эмпирической и теоретической частотами по каждому разряду,

в 5 столбике значения 4 столбика возводятся в квадрат по каждому разряду,

в 6 столбике находится отношение значений 5 столбика к теоретической частоте по каждому разряду.

Если c 2 >c 2 0,01 , то эмпирическое распределение отличается от равномерного, если c 2 £c 2 0,05 , то эмпирическое распределение не отличается от равномерного, если c 2 0,05 < c 2 £c 2 0,01, то отличие эмпирического распределения от равномерного значимо на 5% уровне.

Таблица 35

Распределение учащихся по когнитивному стилю «дифференциальность-интегральность» и расчет данных по критерию c 2

Пример. У учащихся подросткового возраста (60 человек 13-14 лет) выявлялся когнитивный стиль «дифференциальность-интегральность» по методике Г.А. Берулава. В каждом стиле выделяются три стратегии: теоретическая, деятельностная, эмоциональная. Распределение учащихся по стилям представлены в таблице 35. Можно ли утверждать, что в данной группе учащихся равномерно представлены все данные стили?

Решение: n=60 >

Сформулируем экспериментальную гипотезу: распределение учащихся по стилям «дифференциальность-интегральность» с тремя стратегиями является равномерным.

к=6, следовательно, f т =60/6=10.

Для n=к-1=6-1=5

c 2 0,05 =11,070 c 2 0,01 =15,089

c 2 >c 2 0,01 , следовательно, экспериментальная гипотеза отвергается.

Ответ: распределение учащихся по стилям «дифференциальность-интегральность» с тремя стратегиями отличается от равномерного.

2) При сравнении двух эмпирических распределений:

Вычисления также произведем с помощью таблицы 36.

Таблица 36

нр f э1 j f э2 j f э1 j +f э2 j f т1 j f т2 j (f э1 j -f т1 j) 2 f т1 j (f э2 j -f т2 j) 2 f т2 j

Здесь в 1 столбце записывается наименование разрядов,

во втором столбце записываются соответствующие частоты первого эмпирического распределения (f э1 j), где j меняется от 1 до к,

в третьем столбце записываются соответствующие частоты второго эмпирического распределения (f э2 j),

в 4 столбце находится сумма эмпирических частот первого и второго распределения по каждому разряду отдельно (f э1 j +f э2 j),

в 7 столбце находится квадрат разности соответственно эмпирической частоты первого распределения с его теоретической частотой по каждому разряду и делится на эту теоретическую частоту ((f э1 j -f т1 j) 2 / f т1 j),

в 8 столбце находится квадрат разности соответственно эмпирической частоты второго распределения с его теоретической частотой по каждому разряду и делится на эту теоретическую частоту ((f э2 j -f т2 j) 2 / f т2 j).

Значение критерия есть сумма всех значений 7 и 8 столбцов, т.е.

.

Если c 2 >c 2 0,01 , то одно эмпирическое распределение отличается от другого, если c 2 £c 2 0,05 , то первое эмпирическое распределение не отличается от второго, если c 2 0,05 < c 2 £c 2 0,01, то отличие двух эмпирических распределений друг от друга значимо на 5% уровне.

Пример . У учащихся подросткового возраста массовой школы (25 человек) и воспитанников детского дома (25 человек) определялись особенности образа «я» по методике «Каким я кажусь себе». В результате выделилось 7 категорий высказываний о себе. Данные представлены в таблице 36. Различается ли распределение количества высказываний о себе по категориям подростков детского дома и массовой школы?

Решение: n 1 =88 (количество высказываний подростков массовой школы о себе), n 2 =111 (количество высказываний подростков детского дома о себе). n 1 , n 2 >30, следовательно, применим критерий c 2 .

Сформулируем экспериментальную гипотезу: распределение высказываний подростков детского дома и массовой школы о себе по различным категориям существенно отличаются.

Вычислим эмпирическое значение критерия в таблице 37.

Таблица 37

Количество высказываний подростков детского дома и массовой школы о себе и расчет критерия c 2

№ катег. выск. f 1 f 2 f 1 +f 2 f т 1 f т 2 (f 1 -f т 1) 2 f т 1 (f 2 -f т 2) 2 f т2
13,27 16,73 0,81 0,53
19,45 24,54 0,33 0,26
8,84 11,15 1,67 1,33
10,17 12,83 8,27 6,55
12,38 15,62 4,69 3,72
15,48 19,52 0,01 0,01
8,4 10,59 5,19 4,1

1) формально-библиографические ролевые сведения; 2) отношения к окружающим людям; 3) отношение к своему возрасту, взрослости, самостоятельности; 4) умения, интересы, способности, интеллект; 5) поведение; 6) качества личности; 7) внешность, отношение к сверстникам противоположного пола.

χ 2 эмп =0,81+0,33+1,67+8,27+4,69+0,01+5,19+0,53+0,26+1,33+6,55+3,72+0,01+4,1=37,47;

Найдем число степень свободы ν=7-1=6.

Для ν=6 χ 2 0,01 =16,812; χ 2 0,05 = 12,592.

χ 2 эмп >

Ответ: Количество высказываний о себе, относящихся к разным категориям, у подростков детского дома отличаются от количества высказываний подростков массовой школы.

Поправка на непрерывность вносится тогда, когда n=1. Формула тогда имеет следующий вид:

.

Пример . У студентов I курса педагогического вуза (факультетов физики и математики, биологии и химии, филологии) выявлялась принадлежность к когнитивному стилю «полезависимость-поленезависимость» по методике «Замаскированные фигуры» Готтшальтда. Результаты исследования представлены в таблице 37. Выявляются ли половые различия в принадлежности к данным стилям?

Решение: n 1 =49 (количество юношей), n 2 =53 (количество девушек), n 1 , n 2 >30, следовательно, применим критерий c 2 .

Сформулируем экспериментальную гипотезу. Юноши и девушки студенты по принадлежности к когнитивному стилю «полезависимость-поленезависимость» различаются.

Найдем эмпирическое значение критерия по таблице 38.

Таблица 38

Распределение девушек и юношей по принадлежности к стилю «полезависимость-поленезависимость» и расчет значения критерия χ 2

к=2, следовательно, n=1.

Для данного n - χ 2 0,01 =6,635; χ 2 0,05 = 3,841.

χ 2 эмп > χ 2 0,01 Þ принимается экспериментальная гипотеза.

Ответ: юноши и девушки по принадлежности к когнитивному стилю «полезависимость-поленезави-симость» различаются.

Статистический критерий

Правило, по которому гипотеза Я 0 отвергается или принимается, называется статистическим критерием. В названии критерия, как правило, содержится буква, которой обозначается специально составленная характеристика из п. 2 алгоритма проверки статистической гипотезы (см. п. 4.1), рассчитываемая в критерии. В условиях данного алгоритма критерий назывался бы «в -критерий».

При проверке статистических гипотез возможны два типа ошибок:

  • - ошибка первого рода (можно отвергнуть гипотезу Я 0 , когда она на самом деле верна);
  • - ошибка второго рода (можно принять гипотезу Я 0 , когда она на самом деле не верна).

Вероятность а допустить ошибку первого рода называется уровнем значимости критерия.

Если за р обозначить вероятность допустить ошибку второго рода, то (l - р) - вероятность не допустить ошибку второго рода, которая называется мощностью критерия.

Критерий согласия х 2 Пирсона

Существует несколько типов статистических гипотез:

  • - о законе распределения;
  • - однородности выборок;
  • - численных значениях параметров распределения и т.д.

Мы будем рассматривать гипотезу о законе распределения на примере критерия согласия х 2 Пирсона.

Критерием согласия называют статистический критерий проверки нулевой гипотезы о предполагаемом законе неизвестного распределения.

В основе критерия согласия Пирсона лежит сравнение эмпирических (наблюдаемых) и теоретических частот наблюдений, вычисленных в предположении определенного закона распределения. Гипотеза # 0 здесь формулируется так: по исследуемому признаку генеральная совокупность распределена нормально.

Алгоритм проверки статистической гипотезы # 0 для критерия х 1 Пирсона:

  • 1) выдвигаем гипотезу Я 0 - по исследуемому признаку генеральная совокупность распределена нормально;
  • 2) вычисляем выборочную среднюю и выборочное среднее квадратическое отклонение о в;

3) по имеющейся выборке объема п рассчитываем специально составленную характеристику ,

где: я, - эмпирические частоты, - теоретические частоты,

п - объем выборки,

h - величина интервала (разность между двумя соседними вариантами),

Нормализованные значения наблюдаемого признака,

- табличная функция. Также теоретические частоты

могут быть вычислены с помощью стандартной функции MS Excel НОРМРАСП по формуле ;

4) по выборочному распределению определяем критическое значение специально составленной характеристики xl P

5) при гипотеза # 0 отвергается, при гипотеза # 0 принимается.

Пример. Рассмотрим признак X - величину показателей тестирования осужденных в одной из исправительных колоний по некоторой психологической характеристике, представленный в виде вариационного ряда:

На уровне значимости 0,05 проверить гипотезу о нормальном распределении генеральной совокупности.

1. На основе эмпирического распределения можно выдвинуть гипотезу Н 0 : по исследуемому признаку «величина показателя тестирования по данной психологической характеристике» генеральная совокупность осу-

жденных распределена нормально. Альтернативная гипотеза 1: по исследуемому признаку «величина показателя тестирования по данной психологической характеристике» генеральная совокупность осужденных не распределена нормально.

2. Вычислим числовые выборочные характеристики:

Интервалы

х г щ

х} щ

3. Вычислим специально составленную характеристику j 2 . Для этого в предпоследнем столбце предыдущей таблицы найдем теоретические частоты по формуле , а в последнем столбце

проведем расчет характеристики % 2 . Получаем х 2 = 0,185.

Для наглядности построим полигон эмпирического распределения и нормальную кривую по теоретическим частотам (рис. 6).

Рис. 6.

4. Определим число степеней свободы s : к = 5, т = 2, s = 5-2-1 = 2.

По таблице или с помощью стандартной функции MS Excel «ХИ20БР» для числа степеней свободы 5 = 2 и уровня значимости а = 0,05 найдем критическое значение критерия xl P . =5,99. Для уровня значимости а = 0,01 критическое значение критерия х%. = 9,2.

5. Наблюдаемое значение критерия х =0,185 меньше всех найденных значений Хк Р.-> поэтому гипотеза Я 0 принимается на обоих уровнях значимости. Расхождение эмпирических и теоретических частот незначимое. Следовательно, данные наблюдений согласуются с гипотезой о нормальном распределении генеральной совокупности. Таким образом, по исследуемому признаку «величина показателя тестирования по данной психологической характеристике» генеральная совокупность осужденных распределена нормально.

  • 1. Корячко А.В., Куличенко А.Г. Высшая математика и математические методы в психологии: руководство к практическим занятиям для слушателей психологического факультета. Рязань, 1994.
  • 2. Наследов А.Д. Математические методы психологического исследования. Анализ и интерпретация данных: Учеб, пособие. СПб., 2008.
  • 3. Сидоренко Е.В. Методы математической обработки в психологии. СПб., 2010.
  • 4. Сошникова Л.А. и др. Многомерный статистический анализ в экономике: Учеб, пособие для вузов. М., 1999.
  • 5. Суходольский Е.В. Математические методы в психологии. Харьков, 2004.
  • 6. Шмойлова Р.А., Минашкин В.Е., Садовникова Н.А. Практикум по теории статистики: Учеб, пособие. М., 2009.
  • Гмурман В.Е. Теория вероятностей и математическая статистика. С. 465.

Пусть Н 0 состоит в том, что F(x) = F 0 (x); альтернативная гипотеза Н 1: F(x) ¹ F 0 (x). В критерии согласия Пирсона статистикой берется случайная величина c 2 , эмпирическое значение которой определяется по формуле

где k – число интервалов, на которые разбивается значение изучаемой СВ Х; m i – частота i интервала; p i – вероятность попадания СВ Х в i-тый интервал, вычисленная для теоретического закона распределения.

При n ® ¥ СВ стремится к распределению c 2 с l = k – r – 1 степенями свободы, где k – число интервалов, r – число параметров теоретического распределения, вычисленных по экспериментальным данным.

Требование, чтобы n ® ¥, является существенным. На практике достаточным считается объем n ³ 50 и число наблюдений в каждом интервале m i не менее 5. Если в каком-нибудь интервале m i < 5, то имеет смысл объединить соседние интервалы.

Изложим алгоритм применения критерия c 2 .

1. Находится величина

2. Для выбранного уровня a по приложению VI находят значение , где l = k – r – 1.

3. Если £ , то гипотеза Н 0 принимается, т.е. можно считать, что теоретический и эмпирический законы распределений совпадают; если
> , то гипотеза Н 0 отвергается.

П р и м е р 29.2. При посеве семян льна важным показателем является глубина заделки семян. Для оценки посева было произведено 100 измерений. Результаты измерений приведены в таблице 29.3.

Таблица 29.3.

С помощью критерия c 2 проверить гипотезу Н 0 о нормальном распределении СВ Х – глубины заделки семян на уровне значимости a = 0,01.

Решение. Найдем и S В по выборочным данным

Поскольку в крайних интервалах значение m i < 5, объединим их.

Таблица 29.4.

1. Найдем вероятности p i попадания СВ Х в i интервал по формуле

где значения найдем, используя таблицу II приложений.

Проверка: .

Вычислим значение :

2. l = k – r – 1 = 5 – 2 – 1 = 2. По таблице II найдем = 9,21.

3. Поскольку < , то гипотезу Н 0 о нормальном распределении СВ Х отвергать нет оснований.

§ 30. Проверка гипотез об однородности выборок (непараметрические критерии).

Пусть имеются две независимые выборки, произведенные из генеральных совокупностей, законы распределения которых неизвестны. Проверяемая гипотеза Н 0: F 1 (x) = F 2 (x), где F 1 (x) и F 2 (x) неизвестные функции распределения. Альтернативная гипотеза Н 1: F 1 (x) ¹ F 2 (x).

Критерий Колмогорова – Смирнова . Данный критерий применяется, если можно предполагать, что функции F 1 (x) и F 2 (x) непрерывны.

В качестве статистики критерия берется величина

где n 1 , n 2 – объемы первой и второй выборок соответственно, F 1,Э (х), F 2,Э (х) – эмпирические функции распределения первой и второй выборок.

При справедливости гипотезы Н 0 при достаточно больших выборках (n 1 ³ 50, n 2 ³ 50) распределение сходится к распределению Колмогорова (таблица VII приложений). При малых выборках для нахождения D кр используются специальные таблицы.

Проверка гипотезы Н 0 осуществляется следующим образом. Если
> D кр, то гипотеза отвергается, в противоположном случае принимается.

П р и м е р 30.1. Для изучения влияния некоторого препарата на рост поросят проведен опыт, результаты которого приведены в таблице 30.1.

Таблица 30.1.

Одновременно велось вскармливание поросят в контрольной группе без использования препарата (таблица 30.2).

Таблица 30.2.

Требуется на уровне значимости a = 0,05 проверить гипотезу Н 0 , что обе выборки описываются одной и той же функцией распределения, т.е. препарат не оказывает на рост поросят существенного влияния.

Решение. Данные вычислений занесем в таблицу, учитывая, что
n 1 = 100, n 2 = 200.

Таблица 30.3.

Используя таблицу VII приложений, найдем

D кр = D 1 - a = D 0,95 »K 0,95 = 1,36.

Поскольку D кр < , то гипотезу Н 0 следует принять, т.е. препарат не оказывает существенного влияния на рост поросят.

В случае, если выборки невелики, удобно применять критерий Вилкоксона – Уитни .

Сформулируем правило его применения (n 1 £ 25, n 2 £ 25). Для проверки гипотезы Н 0: F 1 (x) = F 2 (x) при альтернативной гипотезе Н 1: F 1 (x) ¹ F 2 (x) следует:

1. Объединить две выборки в одну и расположить варианты в возрастающем порядке, рассчитать W – сумму номеров вариант меньшей по объему выборки.

2. Найти по таблице VIII приложений w нижн.кр = w( , n 1 , n 2) и w верхн.кр =
= (n 1 + n 2 + 1) n 1 – w нижн.кр.

Если w н.кр < W < w в.кр, то нет оснований отвергнуть гипотезу, в противоположном случае гипотеза Н 0 отвергается.

Замечание 30.1. Если среди вариант есть совпадающие, то каждой из них присваивают ранги, равные среднему арифметическому порядковых номеров совпадающих вариант в общем ряде, которыми заменяют номера совпадающих варинт.

Замечание 30.2. Критерий Вилкоксона – Уитни можно использовать и для больших выборок. При этом изменяется расчет w н.кр и w в.кр (см. ).

П р и м е р 30.2. Для оценки заработной платы (в у.е.) на двух предприятиях собраны две выборки объемом n 1 = 8 и n 2 = 9:

I-е предприятие 330, 390, 400, 410, 420, 450, 460, 470

II-е предприятие 340, 400, 410, 420, 430, 440, 460, 480, 490

Используя критерий Вилкоксона – Уитни, проверить нулевую гипотезу Н 0 об одинаковой оплате труда на двух предприятиях, против гипотезы Н 1: оплата различна (a = 0,05).

Решение. Сформируем общий вариационный ряд

330 ; 340; 390 ; 400 ; 400; 410 ; 410; 420 ; 420; 430; 440; 450 ; 460 ; 460; 470 ; 480; 490

1 2 34,5 4,5 6,5 6,5 8,5 8,5 10 11 1213,5 13,5 15 16 17

Для применения изложенного выше критерия Вилкоксона – Уитни в качестве первой выборки следует взять ту, которая имеет наименьший объем n 1 = 8.

Найдем значение W. Для этого подчеркнем порядковые номера вариант меньшей по объему выборки и найдем их сумму:

W = 1 + 3 + 4,5 + 6,5 + 8,5 + 12 + 13,5 + 15 = 64.

Найдем значение w нижн.кр = w(0,025; 8; 9) = 51.

Найдем значение w верхн.кр = (n 1 +n 2 + 1) n 1 – w н.кр = (8 + 9 + 1)× 8 – 51 = 93.

Поскольку выполняется соотношение w н.кр < W < w в.кр (51 < 64 < 93), то нет оснований отвергнуть гипотезу Н 0 , т.е. оплата труда на I-м и II-м предприятиях различается незначительно.

ч2-критерий Пирсона

Критерии, с помощью которых определяется удачно или неудачно подобран закон распределения, принято обозначать критериями согласия. Критерий ч2 К. Пирсона - наиболее часто употребляемый критерий для проверки простой гипотезы о законе распределения. Он основан на использовании в качестве меры отклонения экспериментальных данных от гипотетического распределения той же величины, которая служит для построения доверительной области для неизвестной плотности, с заменой неизвестных истинных значений вероятностей попадания в интервалы вероятностями, вычисленными по гипотетическому распределению. Предположим, что область возможных значений случайной величины разбита на r интервалов (многомерных, т.е. прямоугольников, в случае векторной величины). Пусть - случайные частоты попадания в эти интервалы, получаемые в результате n опытов, Р1,…,Рr - вероятности попадания в те же интервалы, вычисленные по гипотетическому распределению.

В общем случае эти вероятности являются функциями оценок неизвестных параметров, получаемых по тем же экспериментальным данным, и потому тоже являются случайными величинами. Предположим, что оценки неизвестных параметров гипотетического распределения вычисляются по той же группированной выборке, что и частоты. Тогда вероятности Р1,…,Рr будут некоторыми функциями частот, и для оценки отклонения экспериментальных данных от гипотетического распределения берут величину

где Р1,…,Рr - определенные функции частот.

Нейман и Пирсон показали, что если для вычисления вероятностей Р1,…,Рr применяется асимптотически эффективная и асимптотически нормальная оценка неизвестного s-мерного параметра гипотетического распределения по группированной выборке, то величина Z, определяемая формулой (1), в пределе при n ->? имеет ч2 -распределение с r-s-1 степенями свободы.

Пользуясь этой теоремой, можно оценивать расхождение экспериментальных данных с гипотетическим распределением с помощью таблиц ч2-распределения. Выберем достаточно малую вероятность р, чтобы событие с такой вероятностью можно было считать практически невозможным, и определим из уравнения

Если реализация =2величины Z, полученная в результате опытов, пре-восходит или равна, =2 , то гипотетическое распределение считают не согласующимся с экспериментальными данными, так как при этом распределении практически невозможно получить при одной выборке =2 . Вероятность такого события при большом числе опытов n приближенно равна р, т.е. пренебрежимо мала. В этом случае говорят, что имеет место значимое отклонение экспериментальных данных от гипотетического распределения. Если же =2, то считают, что гипотетическое распределение не противоречит экспериментальным данным, согласуется с ними.

Величина называется 100р-процетпным уровнем значимости отклонения выборки от гипотетического распределения. Обычно пользуются 5-, 1- и 0,1-процентными уровнями значимости, в зависимости от характера задачи.

Для дополнительной проверки согласованности экспериментальных данных с гипотетическим распределением полезно вычислить вероятность того, что при данном гипотетическом распределении величина Z окажется больше полученной в результате опытов ее реализации =2, P(Z > 2).Чем больше эта вероятность, тем лучше согласуется выборка с гипотетическим распределением, тем меньше значимость полученного расхождения выборки с гипотетическим распределением. Действительно, если вероятность Р(Z > 2) велика, то при повторении данной серии опытов в случае справедливости выбранной гипотезы о распределении часто будут получаться значения величины Z еще большие, чем полученное в результате опытов значение =2.

Обратим внимание на то, что, получив =2 < и даже получив высокую вероятность P(Z > 2), мы не делаем определенного вывода, что выбранная гипотеза о распределении справедлива, а говорим лишь, что эта гипотеза не противоречит полученным результатам опытов, что она согласуется с ними, вследствие чего ее можно принять. Чтобы получить достаточно веское доказательство того, что случайная величина действительно подчинена гипотетическому закону распределения, необходимо повторить данную серию опытов достаточно большое число раз и убедиться в том, что полученное согласование гипотезы с результатами опытов устойчиво.

Критерий Колмогорова

Критерий Колмогорова - вспомогательный критерий

В качестве вспомогательного критерия по проверке равномерности распределения P-значения основного критерия в данной работе используем критерий Колмогорова.

Критерий Колмогорова рассматривает максимальное значение модуля разности между статистической функцией распределения F^* (x) и соответствующей теоретической функцией распределения F(x, т.е. D = max|F^* (x)-F(x)|.

Следующим шагом определяется величина л=D. По статистическим таблицам (в среде matcalc функцией pvKolm(u)) находится вероятность того, что за счет чисто случайных причин максимальное расхождение между F^* (x) и F(x) будет не меньше, чем фактически наблюденное. Если вероятность P(л) сравнительно велика, то гипотезу следует принять, если весьма мала, то отвергнуть как неправдоподобную.



© 2024 beasthackerz.ru - Браузеры. Аудио. Жесткий диск. Программы. Локальная сеть. Windows