Продолжая по касательной пост про образование и анализ данных - тут мем как раз прекрасный попался на эту тему.
Вы знаете, как формируется *огромное* количество так называемого „common knowledge“ в современном мире - ну типа такого, про которое говорят «всем известно» или «да это же элементарно и всё знают» и прочее?
А вот так:
Плохое исследование с яркими результатами —> «научно популярные» журналисты подхватывают —> масс-медиа тиражирует —> все начинают считать нечто за истину, что истиной вообще не является.
О том, что такое плохое исследование, ниже, а пока еще комментарий что есть исследования, что плохие исследования с яркими результатами получают *больше* цитирований *даже если их убедительно опровергают*. А цитирования автоматически придают credibility.
То есть сначала в силу своей яркости они широко расходятся, а потом в силу всех стандартных cognitive biases они закрепляются.
А потом Цукерберг, Твиттер и прочая левацкая thought police начинают банить всех без разбора кто под их критерии «истинности» не подошел.
Проблема касается в основном социологии, психологии и медицины - в общем, все, чем манипулируют люди в своих повседневных рассуждениях. Если никогда не сталкивались, погуглите replication crisis или p-values crisis. Но цифры там абсолютно чудовищные - в зависимости от области, авторы повторных исследований смогли воспроизвести от 10% до 30% работ, включая самые цитируемые - то есть, которые считают истинными не только и не столько обыватели, сколько scientific community.
Это, конечно, много говорит о «верящих в науку» (и во время ковида это настолько все всплыло, что я до сих пор отойти не могу), но это то ладно - сам факт что на основе многих из этих исследований принимаются определенные общественные решения и протоколы лечения / психологических подходов (которые, например, часто неким хайповым образом через всяких коачей и hr-энтузиастов переносятся в корпоративный мир с ужасными результатами итп) - ужасает.
Что такое «плохое исследование?» В первую очередь - исследование невоспроизводимое. Почему многие из них невоспроизводимы? Потому что смешной мем - те самые p-values. Почему плохие исследования распространяются как пожар? Потому что никто не учит людей работать с данными, даже в науке (за пределами физики, там все хорошо), плюс вся система заточенная на цитируемость итп.
В медицине, социологии и прочих как бы науках было принято считать, что если p-value меньше 5% - то эффект есть и мы пишем очередную статью в nature. После того как в 10х годах люди ужаснулись тому самому replication disaster, пытаются внедрять всякие новые подходы, но а) старые результаты на которых основано дофигища всего никуда не делись б) новые подходы внедряются со скрипом, а люди все еще держатся за p-values.
(p-value - это вероятность наблюдать результаты, которые мы получили, если эффекта на самом деле нет. Это никакая не «достоверность» итп как часто пытаются в популярной литературе представить. То есть по сути никакое p-value не *гарантирует* наличие эффекта, но граница в 5% «случайности» сама по себе вызывает кучу вопросов. Для сравнения, в физике эта граница - 0.0000003, а не 0.05 как во всех коллекционированиях марок).
Какие отсюда выводы?
Ну во первых, образование нужно менять причем везде, как мы уже обсудили.
Но во вторых, когда мне говорят «слушайте врачей и экспертов, вы что умнее их» - у меня кроме истерического смеха никакой реакции нет. И да, я всегда в серьезных случаях лезу искать оригинальный рисерч - потому что *никаким* «common sense» «да это всем известно» тезисам в общественных и медицинских науках доверять нельзя, к сожалению. И как раз для этого нужно образование в том числе.
Но и также разумеется, что на все случаи жизни перепроверять рисерч не полезешь - остаётся только радоваться, что человечество еще живо, милостью Божией, с нашей то поголовной arrogant ignorance, от которой никакое занятие наукой не спасает - кроме очень редких случаев настоящих великих ученых, хорошо понимающих ограниченность своего знания.
А вообще - если что-то вам кажется «элементарным и всем известным», то неплохо бы это перепроверить, если от этого хоть что-то серьезное в вашей жизни зависит.
Комментариев нет:
Отправить комментарий