Курское плато
Недавно математик и доцент РАНХиГС Татьяна Михайлова опубликовала в фейсбук пост о том, что статистика по заболевшим в Курской области почти невероятна с математической точки зрения. Затем показала, что математически подозрительно выглядят данные и некоторых других регионов: Краснодарского края, Чечни, Воронежской, Липецкой и других областей.
Публикация получила резонанс, среди её комментаторов оказались учёные-математики Константин Сонин, Михаил Гельфанд, Сергей Шпилькин и другие. Ссылаясь в том числе на Татьяну Михайлову, свои статьи написали Financial Times и New York Times. После этих публикаций МИД России и Госдума стали требовать опровержения данных и наказания для журналистов, которые их написали. Журналисты в ответ заявили, что материалы основаны на данных государственного ведомства и интервью с экспертами государственных институтов.
Так Курская область область оказалась среди регионов со статистическими парадоксами, чьё обсуждение запустило скандал международного уровня. Мы постарались понять, в чём именно заключался метод Михайловой, и действительно ли он доказывает, что статистика по коронавирусу не отображает реальность.
Публикация получила резонанс, среди её комментаторов оказались учёные-математики Константин Сонин, Михаил Гельфанд, Сергей Шпилькин и другие. Ссылаясь в том числе на Татьяну Михайлову, свои статьи написали Financial Times и New York Times. После этих публикаций МИД России и Госдума стали требовать опровержения данных и наказания для журналистов, которые их написали. Журналисты в ответ заявили, что материалы основаны на данных государственного ведомства и интервью с экспертами государственных институтов.
Так Курская область область оказалась среди регионов со статистическими парадоксами, чьё обсуждение запустило скандал международного уровня. Мы постарались понять, в чём именно заключался метод Михайловой, и действительно ли он доказывает, что статистика по коронавирусу не отображает реальность.
Как Курск привлёк к себе внимание?
Пост Михайловой о Курском плато вышел 7 мая. Речь шла о том, что в течение почти двух недель прирост заболевших по области был удивительно стабильным. Тогда на него не обратили внимания в регионе, а плато продолжалось уже 12 дней. После этого оно продолжилось ещё 6 дней — до 13 мая. Именно в этот день представитель МИД Мария Захарова потребовала опровержений от американских изданий на фоне заявлений. МИД России заявил о «беспочвенных спекуляциях» и «антироссийском фейке». На следующий день Курское плато закончилось и статистика пошла вверх.
Источник: страница Татьяны Михайловой
По официальным данным 25-го апреля в Курской области было зарегистрировано 44 новых случая заражения Covid-19. На следующий день статистика показала 67 новых случаев — в полтора раза больше. После этого скачка на 50% дальнейший прирост с 26 апреля по 13 мая был от 65 до 74 человек. Числа чередовались без какой-либо закономерности, но не выходили за пределы этих значений.
Далее подробности расчётов Михайловой мы убрали под кат.
Далее подробности расчётов Михайловой мы убрали под кат.
Метод Михайловой ↓
В нашем описании мы постараемся избегать сложных построений, за всеми подробностями рекомендуем обращаться к посту Михайловой, учебникам математики или к Википедии.
Более подробное разъяснение о математической странности курской и других статистик было опубликовано Михайловой в Facebook 11 мая. В нём предлагалось рассмотреть график нашего плато через биномиальное распределение.
Биномиальное распределение показывает, как распределены равновероятные независимые события. Соответственно, если события распределяются иначе, то можно сделать вывод, что эти события подвержены какому-то влиянию или мы наблюдаем некую аномалию.
«Независимыми» события будут в случае, если интенсивность одного события не связана с интенсивностью другого. В нашем случае — если вчера официально заразились 70 человек, то завтра их может быть сколько угодно: 100, 200 или 20. Мы не можем угадать их число, потому что факторов неопределённости слишком много: погода, новости, запреты, ужесточение наказания, привезли много тестов, тесты закончились, участились полицейские рейды, собрались толпы за получением пропусков или всем раздали денег — каждое из этих явлений является фактором, который может сказаться на числе выявленных заражённых.
Так что формально условие независимости событий у нас соблюдено. Именно поэтому Михайлова считает, что биномиальное распределение в данном случае должно соблюдаться. В биномиальных и других распределениях существует понятие standart deviation (sd, среднеквадратичного отклонения). Отклонение интенсивности любого события от средней интенсивности будет находиться в пределах значения sd c вероятностью 68,2% для больших чисел (грубо говоря, всех, что больше 10).
Стандартное отклонение или sd – это квадратный корень из дисперсии. Дисперсия определяется суммой квадратов разницы в значениях между средней интенсивностью и имеющейся в каждом случае. В биномиальном распределении дисперсия равна npq, где n – количество взятых событий, p – вероятность положительного результата, q – вероятность отрицательного результата. То есть когда мы берём ряд случайных чисел (заражений), то их отклонение от средней интенсивности будет примерно в 2/3 случаев (68.2%) лежать в пределах sd. А чем дальше оно превышает sd, тем меньше его вероятность.
Тут у вас возникает вопрос: так отклонения же в «Курском плато» минимальны. Зачем нам это всё? Отвечаю: для того, чтобы понять, что такое «стабильность».
Стабильность — это отношение корня из среднего числа заражённых в день к стандартному отклонению. Оно, как мы помним, является корнем квадратным из дисперсии. В свою очередь дисперсия — это произведение среднего числа заражённых в день на вероятность ложноотрицательных тестов. Каково бы ни было число тестируемых больных, эта величина останется постоянной и равной примерно 1.8. При условии, что вероятность ложноотрицательных тестов равна 30% (q=0,3). Другие факторы, которые не учтены здесь, только увеличат дисперсию, а значит – уменьшат стабильность.
Эту устойчивую величину Татьяна Михайлова предлагает ввести, чтобы понять, насколько региональные данные аномальны. Она предлагает представить гипотетическую ситуацию, что каждый день мы тестируем 100 больных коронавирусом человек и получаем примерно 70 положительных тестов, поскольку вероятность ложноотрицательных результатов российских тестов 30%, по официальным данным.
Далее Татьяна Михайлова считает в Excel симулированное число случаев для нескольких дней и выборочное стандартное отклонение. По результатам её численных экспериментов, все значения стабильности не выходят за 2.2, но большинство из них лежит в пределах 1.8. Чтобы перестраховаться, Михайлова предполагает, что 2.5 — очень маловероятно, но возможно. Далее она проверяет свою гипотезу на значениях выявления заражённых в регионах Германии: всё действительно соответствует её предположениям: стабильность пару раз «допрыгивает» до двойки.
Ситуация с российскими регионами куда интереснее. Они демонстрируют феноменальную стабильность: Краснодарский край вырвался вперёд со значением 11. Липецкая область лишь немного обогнала Курскую — у неё стабильность около 6. Наш край достаточно уверенно продемонстрировал пятёрку с небольшим. Чеченская республика и Ленинградская область — такие разные, но здесь оба региона демонстрируют стабильность со значением 4.
Более подробное разъяснение о математической странности курской и других статистик было опубликовано Михайловой в Facebook 11 мая. В нём предлагалось рассмотреть график нашего плато через биномиальное распределение.
Биномиальное распределение показывает, как распределены равновероятные независимые события. Соответственно, если события распределяются иначе, то можно сделать вывод, что эти события подвержены какому-то влиянию или мы наблюдаем некую аномалию.
«Независимыми» события будут в случае, если интенсивность одного события не связана с интенсивностью другого. В нашем случае — если вчера официально заразились 70 человек, то завтра их может быть сколько угодно: 100, 200 или 20. Мы не можем угадать их число, потому что факторов неопределённости слишком много: погода, новости, запреты, ужесточение наказания, привезли много тестов, тесты закончились, участились полицейские рейды, собрались толпы за получением пропусков или всем раздали денег — каждое из этих явлений является фактором, который может сказаться на числе выявленных заражённых.
Так что формально условие независимости событий у нас соблюдено. Именно поэтому Михайлова считает, что биномиальное распределение в данном случае должно соблюдаться. В биномиальных и других распределениях существует понятие standart deviation (sd, среднеквадратичного отклонения). Отклонение интенсивности любого события от средней интенсивности будет находиться в пределах значения sd c вероятностью 68,2% для больших чисел (грубо говоря, всех, что больше 10).
Стандартное отклонение или sd – это квадратный корень из дисперсии. Дисперсия определяется суммой квадратов разницы в значениях между средней интенсивностью и имеющейся в каждом случае. В биномиальном распределении дисперсия равна npq, где n – количество взятых событий, p – вероятность положительного результата, q – вероятность отрицательного результата. То есть когда мы берём ряд случайных чисел (заражений), то их отклонение от средней интенсивности будет примерно в 2/3 случаев (68.2%) лежать в пределах sd. А чем дальше оно превышает sd, тем меньше его вероятность.
Тут у вас возникает вопрос: так отклонения же в «Курском плато» минимальны. Зачем нам это всё? Отвечаю: для того, чтобы понять, что такое «стабильность».
Стабильность — это отношение корня из среднего числа заражённых в день к стандартному отклонению. Оно, как мы помним, является корнем квадратным из дисперсии. В свою очередь дисперсия — это произведение среднего числа заражённых в день на вероятность ложноотрицательных тестов. Каково бы ни было число тестируемых больных, эта величина останется постоянной и равной примерно 1.8. При условии, что вероятность ложноотрицательных тестов равна 30% (q=0,3). Другие факторы, которые не учтены здесь, только увеличат дисперсию, а значит – уменьшат стабильность.
Эту устойчивую величину Татьяна Михайлова предлагает ввести, чтобы понять, насколько региональные данные аномальны. Она предлагает представить гипотетическую ситуацию, что каждый день мы тестируем 100 больных коронавирусом человек и получаем примерно 70 положительных тестов, поскольку вероятность ложноотрицательных результатов российских тестов 30%, по официальным данным.
Далее Татьяна Михайлова считает в Excel симулированное число случаев для нескольких дней и выборочное стандартное отклонение. По результатам её численных экспериментов, все значения стабильности не выходят за 2.2, но большинство из них лежит в пределах 1.8. Чтобы перестраховаться, Михайлова предполагает, что 2.5 — очень маловероятно, но возможно. Далее она проверяет свою гипотезу на значениях выявления заражённых в регионах Германии: всё действительно соответствует её предположениям: стабильность пару раз «допрыгивает» до двойки.
Ситуация с российскими регионами куда интереснее. Они демонстрируют феноменальную стабильность: Краснодарский край вырвался вперёд со значением 11. Липецкая область лишь немного обогнала Курскую — у неё стабильность около 6. Наш край достаточно уверенно продемонстрировал пятёрку с небольшим. Чеченская республика и Ленинградская область — такие разные, но здесь оба региона демонстрируют стабильность со значением 4.
Источник: страница Татьяны Михайловой
Ещё один интересный момент замечен Михайловой 15 мая. Из графика выше видно, что больные в регионе во время плато шли как бы по очереди: сначала в Курске регистрировали больше, но меньше в остальной области, потом – наоборот, но каждый раз суммарно их было около 70. На визуализации эти данные, как выразились комментаторы, «рисуют рыбку». Такие же аномалии были отмечены в Липецкой области и Краснодарском крае. Кто-то пытается связать это с пропускной способностью лабораторий в регионах, кто-то считает, что даже в этом случае получение таких данных естественным путём – невероятно.
Итак, обещанный текст про региональные данные по заболеваемости клятой ковидлой. Знаменитое «Курское плато» уже все...
Опубликовано Татьяной Михайловой Понедельник, 11 мая 2020 г.
Критика
Михайлова не утверждает, что статистику в Курской области рисуют. Но сообщает, что затруднительно придумать объяснение, когда С может быть больше 1.8:
«Я придумала только один случай с натяжкой: когда число пробирок для тестов ограничено, и их тратят на тестирование здоровых работников, а небольшое число распределяют на истинно больных по остаточному принципу».
Профессор ВШЭ Константин Сонин считает, что статистическая аномалия не является результатом намеренного сокрытия данных:
«...Это было бы полным безумием, если бы руководство собирало бы "реальные данные" и публиковало другие. Кроме того, скрыть, реально, ничего не возможно. Как с фальсификациями на выборах - всё, хоть сколько-нибудь статистически значимое, было легко, в итоге, отловлено. Так же и здесь - дополнительную смертность скрыть, по настоящему, невозможно. Она будет видна, при аккуратной работе с данными, во множестве показателей - частно не связанных с медициной. Наконец, остальные цифры - например, общее число положительных тестов - хорошо [грубо] бьётся с остальными данными, значительная часть из которых (заполнение больниц, смертность среди врачей) проверяется "данными с мест".».
Facebook
Интересны ветки комментариев под постом 10 мая с участием Валентина Пивоварова, где тот прямо критикует использованный метод и сделанные на его основе выводы:
«Первое - предположение о случайном 30% ошибке ПЦР ни на чем не основано. То есть от слова "совсем". Число выявленных может определяться пропускной способностью канала анализа тестов, потому тестируют сколько могут, получая одни и те же результаты, ничего странного.
Таких аргументов можно привести много. Но, в принципе, достаточно одного - у Вас получается, что фальсифицируют все поголовно. Что крайне сомнительно. Скорее дело в неверном анализе или интерпретации результатов. »
«По-моему, картина довольно очевидная. Показатели крайне нестабильны, бьются в широких пределах, делать какие-то выводы на основании их значений - совершенно невозможно.»
«Потому чем выше соотношение тестов и больных, тем меньше стабильность - так во всех регионах на начальной стадии и есть. Когда больных становиться много, а объем тестирования не наращивается, то мы и видим "стабильность".»
Таких аргументов можно привести много. Но, в принципе, достаточно одного - у Вас получается, что фальсифицируют все поголовно. Что крайне сомнительно. Скорее дело в неверном анализе или интерпретации результатов. »
«По-моему, картина довольно очевидная. Показатели крайне нестабильны, бьются в широких пределах, делать какие-то выводы на основании их значений - совершенно невозможно.»
«Потому чем выше соотношение тестов и больных, тем меньше стабильность - так во всех регионах на начальной стадии и есть. Когда больных становиться много, а объем тестирования не наращивается, то мы и видим "стабильность".»
В других комментариях замечают, что при некоторых исходных данных вероятность наблюдения «квази-плато» может достигать и 10%. Но тогда появляется вопрос о реалистичности такого для нескольких регионов одновременно. Обсуждается возможное влияние любых факторов: от пропускной способности лабораторий до погодных условий.
На данный момент среди экспертов не наблюдается никакого консенсуса о возникновении аномалий в ряде регионов. Сходятся все только на том, что с текущими объёмами тестирования подлинная картина развития эпидемии для нас недоступна.
На данный момент среди экспертов не наблюдается никакого консенсуса о возникновении аномалий в ряде регионов. Сходятся все только на том, что с текущими объёмами тестирования подлинная картина развития эпидемии для нас недоступна.
Дмитрий Хобботовский
© Проект «Чернозём»
