Криза відтворюваності станом на 2020 рік є тривалою методологічною кризою, в якій було встановлено, що багато наукових досліджень важко або неможливо повторити або відтворити. Криза відтворюваності найгірше впливає на суспільні науки та медицину. Криза має давні корені; ця фраза була придумана на початку 2010-х як частина зростаючої обізнаності про проблему. Криза відтворюваності є важливим полем досліджень у галузі метанауки.

Оскільки відтворюваність експериментальних результатів є важливою частиною наукового методу,Staddon, John (2017). Scientific Method: How Science Works, Fails to Work or Pretends to Work. Taylor and Francis. неможливість повторити дослідження інших людей може мати серйозні наслідки для багатьох галузей науки, де значні теорії ґрунтуються на невідтворюваній експериментальній роботі. Криза відтворюваності особливо широко обговорюється в галузі психології та в медицині, де було зроблено ряд зусиль для повторного дослідження класичних результатів, для визначення достовірності результатів та, у випадку визнання ненадійним, причини збою відтворюваності.

Область застосування

Загалом У опитуванні 1500 науковців 2016 року було повідомлено, що 70 % з них не змогли відтворити хоча б одного експерименту іншого вченого (50 % не вдалося відтворити один з власних експериментів). У 2009 році 2 % вчених визнали фальсифікацію досліджень принаймні один раз, а 14 % визнали, що особисто знають когось, хто це робив. Медичні дослідники повідомляли про проступки частіше, ніж інші.

У психології Кілька факторів поєднались, що поставило психологію в центр суперечки. Значна увага приділялася області соціальної психології, хоча інші сфери психології, такі як клінічна психологія, психологія розвитку, і педагогічні дослідження також були зачеплені. Відповідно до опитування, проведеного в 2018 році, на 200 мета-аналізів, «психологічні дослідження в середньому страждають низькою статистичною потужністю».

По-перше, сумнівні дослідницькі практики (СДП) були визначені як поширені у цій галузі. Такі практики, хоча і не є навмисно шахрайськими, передбачають використання великої кількості сірої області прийнятних наукових практик або використання гнучкості збору даних, аналізу та звітності, з намаганням отримати бажаний результат. Приклади СДП включають вибіркову звітність або часткову публікацію даних (повідомлення лише про деякі умови дослідження або зібрані залежні заходи в публікації), необов'язкові зупинки (вибір, коли зупинити збір даних, часто виходячи зі статистичної значущості тестів), округлення p-значення (округлення p  — значення до 0,05 для підрахунку статистичної значущості), ефект витягування файлів (непублікація даних), підтверджуючі доповіді (оформлення дослідницьких аналізів як підтверджуючих аналізи) та маніпуляції з упередженням виживання (або вилучення залишків, або залишення залишків у наборі даних, щоб зробити статистичний тест значимим). Опитування понад 2000 психологів показало, що більшість респондентів визнали, що використовують хоча б один методів СДП, хибнопозитивні висновки, які часто є наслідком тиску моделі «Публікуйся або помри», авторську упередженість підтвердження, є властивою небезпекою в цій галузі, що вимагає певної ступеня скептицизму з боку читачів.

По-друге, зокрема, психологія та соціальна психологія опинилися в центрі декількох скандалів, пов'язаних із відвертим фальшивим дослідженням, зокрема, даними, зібраними Дідеріком Стапелем а також звинувачення проти інших. Однак більшість науковців визнає, що шахрайство, мабуть, робить менший внесок у кризу відтворюваності.

По-третє, було виявлено, що кілька наслідків у психологічній науці важко повторити ще до нинішньої кризи відтворюваності. Наприклад, науковий журнал Judgment and Decision Making опублікував декілька досліджень протягом багатьох років, які не забезпечують підтримки теорії несвідомої думки. Відтворення виглядають особливо важко, коли дослідницькі випробування попередньо зареєстровані та проводяться дослідницькими групами, які не дуже вкладаються у досліджувану теорію.

Ці три елементи разом призвели до відновлення уваги до відтворюваності, яку підтримує психолог Деніел Канеман. Вивчення багатьох ефектів показало, що декілька основних переконань важко повторити. Спеціальне видання журналу Social Psychology, присвячене дослідженню відтворюваності, і ряду попередніх переконань, які було важко повторити. Спеціальне видання журналу Perspectives on Psychological Science у 2012 році також зосереджувалося на проблемах, починаючи від упередженості публікацій до нульової відрази, що сприяє кризі відтворюваності в психології. У 2015 році було опубліковано перше відкрите емпіричне дослідження відтворюваності в психології під назвою Reproducibility Project. Дослідники з усього світу співпрацювали над повторенням 100 емпіричних досліджень із трьох найкращих журналів з психології. Менше половини спроб відтворення виявилися успішними у створенні статистично значущих результатів у очікуваних напрямках, хоча більшість спроб відтворення дали тенденції у очікуваних напрямках.

Багато експериментів та метааналізів скомпрометовані низькою якістю та конфліктом інтересів, що пов'язані як з авторами, так і з професійними адвокатськими організаціями, що призводить до багатьох помилкових позитивних результатів щодо ефективності певних видів психотерапії.

Хоча британська газета The Independent писала, що результати Reproducibility Project показують, що значна частина опублікованих досліджень — це лише «психо-балаканина», криза відтворюваності не обов'язково означає, що психологія є ненауковою. Радше цей процес є частиною наукового процесу, в якому видаляються старі ідеї або ті, які не витримують ретельного вивчення, хоча цей процес видалення не завжди ефективний. Наслідком цього є те, що деякі сфери психології, які колись вважалися твердими, наприклад, соціальне домінування, потрапляли під посилену перевірку через невдалі відтворення.

Нобелівський лауреат та професор у галузі психології Деніел Канеман стверджував, що оригінальні автори повинні залучатися до відтворення, оскільки опубліковані методи часто занадто розпливчасті. Інші, такі як доктор Ендрю Вілсон, не погоджуються і стверджують, що методи повинні бути описані докладно. Дослідження рівня відтворюваності в психології в 2012 році показало більш високі показники успішності в дослідженнях відтворюваності, коли автор перетинався з авторами оригінального дослідження (91,7 % успішних відтворень у дослідженнях з перетинанням авторів порівняно з часткою 64,6 % успішності відтворення без перетину авторів).

Орієнтація на кризу реплікації призвела до інших оновлених зусиль у цій дисципліні для повторної перевірки важливих висновків, і у відповідь на занепокоєння щодо упередженості публікацій та p-хакінгу, понад 140 психологічних журналів прийняли сліпе рецензування результатів, де дослідження приймаються не на основі отриманих результатів та після закінчення досліджень, а перед проведенням досліджень та на основі методологічної суворості їх експериментальних розробок і теоретичних обґрунтувань методів статистичного аналізу перед збором чи аналізом даних. Крім того, широкомасштабне співробітництво між дослідниками, що працюють в декількох лабораторіях у різних країнах, і які регулярно відкривають свої дані для оцінки різними дослідниками, стали набагато більш поширеними в цій галузі. Попередній аналіз таких реформ підрахував, що 61 відсоток «сліпих результатів» досліджень призвели до нульового результату, на відміну від оцінених 5–20 % у попередніх дослідженнях.

Частоти відтворення результатів у психології У доповіді Open Science Collaboration у серпні 2015 року, яку координував Брайан Носек, було оцінено відтворюваність 100 досліджень з психологічних наук з трьох високорейтингових журналів з психології. В цілому 36 % реплікацій дали значні результати (p-значення нижче 0,05) порівняно з 97 % початкових досліджень, у яких наявні відомості про суттєвий вплив. Середнє значення у відтвореннях становило приблизно половину магнітуди розмірів ефектів, про які повідомлялося в оригінальних дослідженнях.

У цьому ж документі розглядалися показники відтворюваності та розмірів ефектів за журналом (Journal of Personality and Social Psychology [JPSP], Journal of Experimental Psychology: Learning, Memory, and Cognition [JEP: LMC], Psychological Science [PSCI]) та дисципліною (соціальна психологія, психологія розвитку). Коефіцієнт відтворення дослідження становив 23 % для JPSP, 48 % для JEP: LMC та 38 % для PSCI. Дослідження в галузі когнітивної психології мали вищій рівень реплікації (50 %), ніж дослідження в галузі соціальної психології (25 %).

Аналіз історії публікацій у топ-100 журналах з психології за 1900—2012 роки показав, що приблизно 1,6 % усіх публікацій з психології були спробами відтворення. Статті вважалися спробою відтворення, якщо в тексті з'явився термін «відтворення». Підмножина цих досліджень (500 досліджень) була вибрана випадковим чином для подальшого дослідження і дала менший коефіцієнт відтворюваності 1,07 % (342 з 500 досліджень [68,4 %] — насправді відтворення). У підмножині 500 досліджень аналіз показав, що 78,9 % опублікованих спроб відтворення були успішними. Імовірність успішного відтворення була значно вищою, коли хоча б один автор оригінального дослідження був учасником спроби відтворення (91,7 % відносно 64,6 %)

Дослідження, опубліковане у 2018 році у «Nature Human Behavior», прагнуло повторити 21 наукову роботу з соціальних та поведінкових досліджень із «Nature» та «Science», виявивши, що лише 13 можна успішно повторити. Аналогічно, у дослідженні, проведеному під егідою Center for Open Science, група з 186 дослідників з 60 різних лабораторій (що представляють 36 різних національностей з 6 різних континентів) здійснила відтворення 28 класичних та сучасних висновків з психології. Основна увага в дослідженні приділялась не тільки на тому, чи не повторювались висновки з оригінальних статей, а й у тому, наскільки висновки змінювалися залежно від варіацій вибірки та контексту. Загалом 14 з 28 досліджень не вдалося повторити, незважаючи на величезні розміри вибірки. Однак, якщо дослідження повторюється, воно відтворюється у більшості зразків, тоді як якщо дослідження не відтворюється, його не вдається повторити з невеликими варіаціями у вибірках та контекстах. Ці докази суперечать популярному поясненню, що невдача при відтворенні в психології, ймовірно, пов'язана зі зміною вибірки між початковим та повторним дослідженням.

Дисциплінарна соціальна дилема Висвітлюючи соціальну структуру, яка стримує реплікацію в психології, Брайан Д. Ерп та Джим А. Еверетт перерахували п'ять пунктів щодо того, чому спроби відтворення є рідкістю:

«Незалежні, прямі відтворення інших висновків можуть забирати багато часу для дослідника, що займається відтворенням» «[Відтворення], ймовірно, забирають енергію та ресурси безпосередньо від інших проєктів, що відображають власне оригінальне мислення». «[Відтворення] взагалі важче публікувати (значною мірою тому, що вони розглядаються як неоригінальні)» "Навіть будучи опублікованими вони [відтворення], швидше за все, будуть сприйматися як базові вправи, а не як внески в основну галузь "[Відтворення] приносять менше визнання і винагороди та навіть безпеки кар'єри авторам "

З цієї причини автори стверджують, що психологія стоїть перед дисциплінарною соціальною дилемою, коли інтереси дисципліни суперечать інтересам окремого дослідника.

Полеміка «методологічного тероризму»