40% экономических исследований оказались невоспроизводимыми

Фото: Mark Wainwright/flickr

Экономист Колин Камерер из Калифорнийского технологического института и его коллеги решили проверить результаты экономических экспериментов, опубликованных в высокорейтинговых журналах, и самостоятельно провели шаг за шагом описанные в статьях исследования. Ученые получили те же результаты примерно в 60% случаев.

«Повторно проводить эксперименты непопулярно, и делают это очень редко. Однако иметь возможность получать одинаковый результат много раз подряд — часть того, что делает знание научным», — объяснил мотивацию исследования главный автор работы, опубликованной в Science, Колин Камерер.

Методика эксперимента основывалась на предыдущем исследовании, в котором другая группа ученых проверяла работы по психологии, опубликованные в известных журналах. Лишь 36% этих исследований прошли повторную проверку и показали такие же результаты.

В новой работе экономисты отобрали 18 исследований в области прикладной экономики из журналов American Economic Review и Quarterly Journal of Economics и шаг за шагом самостоятельно провели эксперименты, описанные в статьях. Ученые предчувствовали массу критики к их работе, поэтому, прежде чем приступить к исследованию, они составили подробные отчеты о том, как будет выполняться каждая проверка, и отправили авторам проверяемых экспериментов. «Мы были приятно удивлены, получив от авторов ответные письма о том, как они рады и польщены, что их эксперименты проведут повторно», — признался Колин Камерер.

В результате 11 из 18 повторных проверок работ (61%) показали такой же результат, что и при первом проведении экспериментов. Авторы считают, что это достаточно высокий результат.

Один из ученых, чья работа не прошла проверку, не сомневается в честности и компетентности авторов. Однако объясняет несовпадение тем, что во время ее исследования о влиянии счастья на процесс принятия экономических решений, они показывали испытуемым веселый ролик с участием известного актера и стендап-комика Робина Уильямса. «После того как было проведено первоначальное исследование, Уильямс покончил с собой, так что при повторном эксперименте эмоциональный эффект от видео может быть совсем другим», — объяснила автор этого эксперимента Хома Заргамэ.

«Не должно обескураживать или удивлять то, что значительное число результатов не удается повторить, — считает экономист из Сингапура Эрик Ульман, не принимавший участия в исследовании. — Неудачи при попытках воспроизведения результатов следует считать нормальной составляющей науки».

Теги:

Читать еще на Чердаке: