ЗДОРОВЬЕ и ИНТЕЛЛЕКТ
ЗДОРОВЬЕ и ИНТЕЛЛЕКТ
Наука, общество, медицина, здоровье, долголетие, лекарства и бады = блогинг и новости
Read 9 minutes

Эффект Даннинга-Крюгера, вероятно, не реален

Image for post

Любимая отсылка тех, кто хочет объяснить, почему некомпетентные люди не знают, что они не обладают знаниями, эффект Даннинга-Крюгера на самом деле может быть просто артефактом данных.

Впервые описанный в основополагающей статье 1999 года Дэвидом Даннингом и Джастином Крюгером, этот эффект был любимцем журналистов, которые хотят объяснить, почему глупые люди не знают, что они глупые. Есть даже видео фантастической пастиша знаменитой арии Турандот, Нессун Дорма, объясняющей эффект Даннинга-Крюгера. "Они не знают, – поясняет оперный певец в кульминации, – что они не знают."

Я планировал написать очень короткую статью об эффекте Даннинга-Крюгера, и это, вначале, было похоже на простую задачу. Вот эффект, как он был обнаружен, что это значит. Конец истории.

Но по мере того, как я перепроверял академическую литературу, в голову начали закрадываться сомнения. Пытаясь понять критику, прозвучавшую в адрес первоначального исследования, я провалился в кроличью нору, поговорил с несколькими людьми, склонными к статистике, вступил в переписку с самим Доктором Даннингом и попытался понять, действительно ли наш мозг склонен преувеличивать нашу компетентность в деятельности, в которой мы отстой... или же знаменитый эффект был просто миражом, вызванным своеобразным способом игры с числами.

Не преувеличиваем ли мы нашу уверенность в эффекте Даннинга-Крюгера?

Непонятый эффект

Самая главная ошибка, которую люди совершают в отношении эффекта Даннинга-Крюгера, по мнению доктора Даннинга, связана с тем, кто становится его жертвой. "Все дело в нас, а не в них", – писал он мне. "Урок эффекта всегда был о том, как мы должны быть скромными и осторожными в отношении самих себя." Эффект Даннинга-Крюгера не касается тупых людей. В основном это касается всех нас, когда речь заходит о вещах, в которых мы не очень компетентны.

В двух словах, эффект Даннинга-Крюгера первоначально определялся как предвзятость в нашем мышлении. Если я плохо разбираюсь в английской грамматике и меня попросят пройти тест, проверяющий мои знания английской грамматики, эта предвзятость в моём мышлении заставит меня, согласно теории, поверить, что я получу более высокий балл, чем на самом деле. И если я преуспеваю в английской грамматике, эффект диктует, что я, вероятно, слегка недооценил бы, насколько хорошо я справлюсь. Я мог бы предсказать, что получу 70% баллов, в то время как мой фактический балл будет 90%. Но если бы мой реальный балл был 15% (потому что я ужасно разбираюсь в грамматике), я мог бы думать о себе в лучшем свете и предсказать оценку в 60%. Это несоответствие является следствием, и считается, что оно связано с конкретной проблемой со способностью нашего мышления оценивать свои навыки.

Именно через это прошли студенты-участники исследовательского проекта Даннинга и Крюгера в конце 1990-х годов, в котором провели оценки грамматики, юмора и логических рассуждений. У каждого спрашивали, насколько хорошо, по их мнению, они справляются, и всё также оценивали объективно, и эти два показателя сравнивались.

С тех пор было проведено много исследований, которые сообщили об этом эффекте в других областях знания. Доктор Даннинг сообщил мне, что он считает, что эффект "больше связан с дезинформацией, чем с неинформированностью." Если меня спросят о температуре кипения ртути, то ясно, что у меня в голове нет ответа. Но если меня спросят, что такое столица Шотландии, я могу подумать, что знаю достаточно, чтобы сказать Глазго, но оказывается, что это Эдинбург. Это дезинформация, и она "давит на кнопку уверенности" в моём мозгу.

Так что дело закрыто, верно? С другой стороны. В 2016 и 2017 годах две статьи были опубликованы в математическом журнале под названием Numeracy. В них авторы утверждали, что эффект Даннинга-Крюгера – мираж. И я склонен согласиться.

Эффект является шумом*

*в статье под шумом, подразумеваются сгенерированные случайным образом данные, с помощью компьютерной программы. – прим. ред.

В двух работах [1, 2] доктора Эда Нуфера и его коллег утверждалось, что эффект Даннинга-Крюгера может быть воспроизведен с помощью случайных данных. "Мы все тогда верили, что статья 1999 года достоверна", – сообщил мне доктор Нухфер по электронной почте. "В рассуждениях и аргументах было так много смысла. Мы никогда не пытались опровергнуть данную публикацию; мы даже были её поклонниками." В собственных работах доктора Нуфера, в которых использовались как компьютерные данные [сгенерированные компьютерной программой данные – прим. ред.], так и результаты реальных людей, проходящих тест на научную грамотность, его команда опровергла утверждение, что большинство не обладающих знаниями людей не знают об этом ("небольшое число: мы видели около 5-6%, которые соответствуют этим данным"), и вместо этого показали, что как эксперты, так и новички недооценивают и переоценивают свои навыки с одинаковой частотой. "Просто эксперты делают это в более узком диапазоне", – писал он мне.

Потребовалась неделя, чтобы всё уложилось у меня в голове. Я набрал команду из мужа и жены, доктора Патрика Э. Макнайта (с факультета психологии университета Джорджа Мейсона, также входящего в консультативный совет Sense About Science и STATS.org) и доктора Симону Макнайт (из Global Systems Technologies, Inc.), чтобы помочь мне понять, что происходит. Патрик Макнайт не только верил в существование эффекта Даннинга-Крюгера: он учил его предостерегаться своих учеников, быть внимательными к тому, что они действительно знают, а не к тому, что они думают, что знают. Но после воспроизведения результатов доктора Нуфера с использованием другой платформы (язык статистических вычислений R вместо Microsoft Excel использованного Нуфером), он убедился, что эффект был просто артефактом* того, как действительно рассчитывается то, что должно быть рассчитано.

*это экспериментальный результат, который возникает из-за отклонений в проведении исследования или дефектов используемых методик. Источником артефактов в психологическом эксперименте может быть как само окружение, так и деятельность исследователя. Причиной артефактов может стать также неадекватность используемой экспериментальной процедуры, когда исследователь не может предсказать факторы, изменяющие поведение исследуемых. – прим. ред.

У нас были долгие разговоры на эту тему, пока я продолжал сопротивляться [той истине что открылась]. Как скептик, я легко поддаюсь соблазну историй типа: "всё, что вы знаете об этом, неверно." Это моя предвзятость. Чтобы преодолеть это, я продолжал играть в "адвоката дьявола" с Макнайтами, чтобы убедиться, что мы ничего не упустили. Каждый раз, когда я чувствовал, что моё понимание кристаллизуется, сомнение закрадывалось на следующий день, и моя дискуссия с Макнайтами возобновлялась.

В конце концов я пришел к выводу, что эффект Даннинга-Крюгера не был проявлением предвзятости в нашем мышлении, а был просто артефактом. Вот самое простое объяснение, которое у меня есть, почему эффект кажется реальным.

Чтобы эффект человеческой психологии был реальным, он не может быть систематично воспроизведён с помощью случайного шума. Если бы человеческий мозг был предрасположен предсказывать выпадение орла, когда подбрасывается монета, вы могли бы сравнить это со случайными предсказаниями выпадения орла или решки, сделанными компьютером, и "увидеть" когнитивное искажение. Человек предсказал бы больше орлов, чем компьютер, потому что компьютер делает случайные ставки, в то время как человек имеет предрасположенность предсказывать орла. С эффектом Даннинга-Крюгера дело обстоит иначе. Случайные данные на самом деле очень хорошо имитируют описанный эффект.

Эффект, первоначально описанный в 1999 году, использует очень своеобразный тип графика. "Этот график, насколько мне известно, довольно необычен для большинства областей науки", - сказал мне Патрик Макнайт. В первоначальном эксперименте студенты проходили тест и им предлагалось угадать свой результат. Таким образом, у каждого студента было две точки данных: оценка, которую они думали, что получили (самооценка), и оценка, которую они действительно получили (реальные результаты). Чтобы визуализировать эти данные, Даннинг и Крюгер разделили всех на квартили: те, кто показал результаты в нижних 25%, те, кто набрал в верхних 25%, и два квартиля в середине. Для каждого квартиля строился средний балл успеваемости и средний балл самооценки. В результате получился знаменитый граф Даннинга-Крюгера.

Image for post

При нанесении на диаграмму таким образом, это выглядит так, словно те, кто находится в нижней части 25%, думали, что они сделали гораздо лучше, чем они сделали, а те, кто находится в верхней части 25%, недооценили свою результативность. Считалось, что это наблюдение связано с человеческим мозгом: не обладающие знаниями люди не знают об этом. Но если мы уберём "человеческий мозг" из уравнения, то получим следующее:

Image for post

Приведенный выше график Даннинга-Крюгера был создан Патриком Макнайтом с использованием произведённых компьютерных расчётов как для самооценки, так и для оценки результативности. Цифры были случайными. Не было никакой предвзятости в компьютерном моделировании, которое привело вымышленных студентов к предположению, что они действительно хорошо справились, когда их фактический балл был очень низким. И всё же мы видим, что эти две линии выглядят пугающе похожими на те, которые Даннинг и Крюгер провели в своём первом эксперименте. Аналогичное моделирование было проведено доктором Филлипом Аккерманом и его коллегами через три года после публикации оригинальной статьи Даннинга-Крюгера.

Измерение чьего-либо восприятия чего-либо, в том числе собственных навыков, чревато трудностями. Насколько хорошо, по моему мнению, я прошел тест сегодня, может измениться, если всё это будет сделано завтра, когда моё настроение может измениться, и моя уверенность в себе может поколебаться. Таким образом, это измерение самооценки в определённой степени ненадежно. Эта ненадежность – иногда огромная, иногда нет – означает, что любой истинный психологический эффект, который существует, будет оценён как меньший в контексте эксперимента. Это называется ослаблением из-за ненадёжности. "Десятки книг, статей и глав освещают проблему погрешности измерений и ослабленных эффектов", – писал мне Патрик Макнайт. В его моделировании со случайно-сгенерированными параметрами так называемый эффект Даннинга-Крюгера становится более заметным по мере увеличения погрешности измерений. "В истории научных открытий нет ни одного случая, – продолжал он, – когда открытие улучшается за счёт увеличения погрешности измерений."

Разрушение чар

Используя поисковой запрос "эффект Даннинга-Крюгера" в Google News, я получаю более 8500 результатов от таких СМИ, как New York Times, New Scientist и CBC. Так что многие просто поддерживают эффект как реальное метакогнитивное искажение, поэтому неудивительно, что люди не знают об академической критике, которая существовала с тех пор, как эффект был впервые опубликован. Дело не только в Докторе Нуфере и его расчётах. Другие академические критики указывали, например, на регрессию к среднему значению.

Но, как указывает Патрик Макнайт, регрессия к среднему значению происходит, когда используется один и тот же измеряемый параметрс течением времени, и мы отслеживаем его эволюцию. Если я измеряю температуру каждое утро и в один прекрасный день температура подскакивает, этот же измеряемый параметр (надеюсь) снизится на следующий день и вернется к своему среднему значению, когда моя температура спадет. Это регрессия к среднему значению.

Но в контексте эффекта Даннинга-Крюгера ничто не измеряется во времени, а самооценка и результативность – это совершенно разные показатели, поэтому регрессия к среднему значению не должна применяться. Однако ненадёжность самого измерения самооценки является сильным аргументом в пользу объяснения значительной части того, что на самом деле описывали Даннинг, Крюгер и другие учёные, которые впоследствии сообщили об этом эффекте в других контекстах.

Эта история еще не закончилась. Несомненно, в академических журналах будет пролито больше чернил по этому вопросу, что, в конце концов, является здоровой частью научных исследований. Изучение протонов и электронов относительно легко, поскольку эти частицы не обладают собственным разумом; изучение человеческой психологии, по сравнению с этим, намного сложнее, потому что число переменных, которыми манипулируют, невероятно велико. Таким образом, кажется реальным, что легко делать выводы в психологии, когда на самом деле это не так.

Есть ли глупые люди, которые не понимают, что они глупы? Конечно, но эффект Даннинга-Крюгера никогда не был связан с этим. Есть ли люди, которые очень самоуверенны и высокомерны в своем невежестве? Безусловно, но и здесь Даннинг и Крюгер не измеряли уверенность или высокомерие в 1999 году.

Существуют и другие эффекты, известные психологам, такие эффект сверхуверенности и иллюзорное превосходство [эвристика "выше среднего"] (когда большинство водителей автомобилей считают себя намного выше среднего), так что если эффект Даннинга-Крюгера убедительно показал себя ничем иным, как миражем, это не значит, что человеческий мозг безупречен. И если исследователи продолжают верить в этот эффект перед лицом серьёзной критики, то это не парадоксальный пример эффекта Даннинга-Крюгера. В первоначальных классических экспериментах студенты не получали обратной связи при проведении самооценки. Справедливо будет сказать, что сейчас исследователи находятся в ином положении.

Слова "эффект Даннинга-Крюгера" в течение многих лет использовались как заклинание журналистами и скептиками, чтобы объяснить глупость и некомпетентность. Возможно, пришло время разрушить это заклятие.

источник https://www.mcgill.ca/oss/article/critical-thinking/dunning-kruger-effect-probably-not-real

редактура и адаптация Дмитрий Бобров

консультация и пояснения по используемым методам в исследованиях Александр Коваленко

4 views
Add
More
ЗДОРОВЬЕ и ИНТЕЛЛЕКТ
Наука, общество, медицина, здоровье, долголетие, лекарства и бады = блогинг и новости
Follow