Какво означава липсата на възпроизводимост в изследванията на психологията?
В идеалния свят човек би могъл да си помисли, че нещо от порядъка на 75 или дори 80 процента от проучванията е трябвало да възпроизведе подобни резултати, нали? Тъй като новите проучвания просто повторно се провеждат върху различна популация от изследователи, които внимателно следват първоначалните методи на изследователите. В повечето случаи изследователите също са имали пряк контакт и сътрудничество от първоначалните изследователи.
Но в една находка се завъртяха дузина различни начина, откакто бяха публикувани през миналата седмица Наука списание, Проектът не стигна до 75%. Само 36% от репликациите дават значителни резултати - в сравнение с 97% от първоначалните 100 проучвания.
Какво означава това за психологията?
Въпреки че някои се опитват да завъртят това откритие като не неочаквано или „не толкова лошо, колкото би могло да бъде“, това не предвещава нищо добро за психологическата наука. Всеки месец се публикуват стотици нови изследвания по психология. Това, което накратко означава, е, че на повечето констатации от тези изследвания не трябва да се вярва. Всъщност те са фалшиви.
От The Atlantic’s покритие:
„Процентът на успех е по-нисък, отколкото бих си помислил“, казва Джон Йоанидис от Станфордския университет, чиято класическа теоретична статия Защо констатациите на повечето публикувани изследвания са неверни е бил гръмоотвод за движението на възпроизводимост.
„Чувствам се зле, когато видях, че някои от моите прогнози са потвърдени. Иска ми се да е доказано, че грешат. "
Друга лоша констатация от новото изследване е, че размерите на ефекта обикновено са с 50 процента по-малки от тези, които първоначалните изследователи откриват. Това означава, че дори когато резултатите са възпроизведени от новите изследователи, въздействието на изследваните променливи не е било толкова важно, колкото първоначално се е смятало.
Причини за лоша възпроизводимост в изследванията на психологията
Има дузина различни причини за това лошо показване от психологическите изследвания. Но преди да прегледаме някои от тях, това е студено пръскане на реалността, като се вземат резултати от едно изследване и се обобщават от тях. Или дори по-лошо, вярвайки, че нещо е истина, когато тепърва трябва да бъде доказано от повече от едно проучване.
Ако дадено проучване не е двойно заслепено - тъй като повечето от тях не са били - собствените пристрастия на изследователите могат да окажат слабо влияние върху начина, по който данните се събират или анализират. Ако изследовател току-що е прекарал 8 или 18 месеца в събиране на данни, само за да не намери значими резултати, той може да отиде в експедиция за данни, за да намери някаква друга връзка с данни, която може да публикува.1 След това изследователите променят първоначалните си хипотези, за да отговарят на действително данните открити (тъй като повечето изследователи все още не регистрират предварително своите изследвания с проследяваща услуга - въпреки че това бавно се променя).
Други предполагат, че може би „изненадването“ е друго обяснение - че в днешно време списанията се фокусират върху публикуването на изненадващи открития, тъй като те са по-популярни и интересни за читателите. Когато добавите към възможността за регресия към средната стойност - че променливите могат да бъдат най-екстремни при първо измерване, но по-малко екстремни при измерване за втори или трети път - внушението е, че тези два фактора се комбинират, за да насърчат публикуването на изследвания, които са вътрешно трудни да се възпроизвеждат.
Какво означава това за психологическата наука?
Човешката природа е безкрайно сложна. Психологическата наука се опитва да деконструира човешкото поведение и емоции на малки парченца, за да разбере по-добре цялото. Ако обаче изследванията не могат да възпроизведат науката, която стои зад изследванията, това предполага, че на голяма част от това, което областта публикува всяка година, също не може да се вярва.
Въпреки това, ние също не знаем статистиката за възпроизводимостта на повечето науки, тъй като нищо подобно на проекта за възпроизводимост не е опитвано досега в други области. Възможно е този недостатък да бъде понесен от повечето науки или може да е недостатък, който въздейства върху социалните науки повече от другите науки.
Но в краткосрочен план това подчертава нещо, което винаги съм казвал - откритието на психологическата наука не е нещо, върху което можете да закачите шапката си, докато не бъде възпроизведено от друг изследовател. За констатациите, които могат да бъдат възпроизведени, се казва, че са „стабилни“ и следователно им се вярва.
Потърсете този вид информация, когато оценявате или четете новинарски статии, базирани на ново проучване. Макар и не толкова секси като нови, „изненадващи“ констатации, изследванията, които проверяват или поставят под съмнение онова, което вече смятаме, че знаем, са също толкова важни.
За повече информация…
Атлантическият океан: Колко надеждни са психологическите изследвания?
The Guardian: Проучването дава мрачна присъда за валидността на резултатите от психологически експерименти
Mindhacks: Не го наричайте завръщане
Справка
Отворена научна колаборация. (2015). Оценка на възпроизводимостта на психологическата наука. Наука, 28.
Проект за възпроизводимост: Психология - суровите данни
Бележки под линия:
- В противен случай цялото това време, пари и усилия бяха загубени, защото малко изследователи могат или искат да публикуват нулеви резултати. [↩]
- И това наистина поставя под въпрос общите обобщения на авторите, направени относно приложимостта на техните констатации, открити в почти всяка дискусионна секция на последните психологически изследвания. [↩]
