На какви изследвания можете да повярвате?
Който чете Светът на психологията редовно вече знае за проблемите в много финансирани от индустрията проучвания. Но тази статия предполага, че проблемите с рецензирани изследвания отиват далеч по-дълбоко от простото пристрастие с цел печалба. Учените са пристрастни по много, много начини (не само за парична печалба). И това пристрастие неминуемо се проявява в работата, която извършват - научните изследвания.
Това не е нов барабан, който да бия за мен - говорих за пристрастията на изследователите през 2007 г. и за това как изследователите проектират проучвания, за да намерят конкретни резултати (този пример включва изследователи, които са намерили уебсайтове за суицидни методи, когато търсят - изчакайте - „методи за самоубийство ”В Google). Забелязахме как на практика всяко проучване в списания като Психологическа наука разчитат почти изключително на студенти, събрани от един кампус като субекти - значително ограничение, рядко споменавано в самите проучвания.
Тук обаче е истинският обезпокоителен аспект - тези видове предубедени изследвания се появяват във всякакви списания. JAMA, NEJM и BMJ не са защитени от публикуване на скапани, опорочени изследвания в медицината и психологията. Ние мислим за „респектабельността“ на списанието като някакъв знак за ролята на вратар - че проучванията, появяващи се в най-престижните списания, трябва да бъдат фундаментални.
Но това просто не е вярно. Императорът е не само гол - поданиците му са скрили дрехите му, за да продължат собствената си кариера.
Издаването на предубедени проучвания за пръв път попадна в светлината на прожекторите през 2004 г., когато GlaxoSmithKline беше съден от генерални прокурори за укриване на данните от изследванията на Paxil. Оттогава насам са излезли на бял свят десетки проучвания и оттогава са публикувани други изследвания, показващи как фармацевтичните компании изглежда редовно крият съответните данни от изследвания. Тези данни обикновено показват, че изследваното лекарство не е ефективно в сравнение със захарното хапче за лечение на каквото и да е разстройство, за което е предназначено. (Блогове като клинична психология и психиатрия: По-внимателен поглед и блогът на Карлат за психиатрия имат повече подробности за тези проучвания.)
Но какво да кажем за други видове пристрастия? Интересуваме ли се само от проучвания, при които пристрастията са толкова явни, или не бива ли да се притесняваме от някакъв вид пристрастия, който може да повлияе на надеждността на резултатите?
Отговорът е, разбира се, че трябва да се интересуваме от всички форми на пристрастия. Всичко, което може да повлияе на крайните резултати от проучване, означава, че заключенията от изследването може да са под въпрос.
Джон Йоанидис, професор в университета в Янина, се интересува от този въпрос в медицинските изследвания. Затова той събра експертен екип от изследователи и статистици, за да се задълбочи и да види колко лош е проблемът. Това, което откри, не изненада изследователите, но ще изненада повечето миряни -
Озадачен, той започна да търси конкретните начини, по които изследванията се объркват. И не след дълго той откри, че гамата от допуснати грешки е удивителна: от това какви въпроси са поставили изследователите, до това как са организирали проучванията, до кои пациенти са наели за проучванията, до кои измервания са взели, до това как са анализирали данните , за това как са представили резултатите си, за това как определени изследвания са публикувани в медицински списания. […]
„Проучванията бяха предубедени“, казва той. „Понякога те бяха открито пристрастни. Понякога беше трудно да се види пристрастието, но беше там. " Изследователите се насочиха към проучванията си, искайки определени резултати - и, ето, те ги получаваха. Смятаме, че научният процес е обективен, строг и дори безмилостен при отделянето на истината от това, което просто искаме да бъде истина, но всъщност е лесно да се манипулират резултатите, дори неволно или несъзнателно.
„На всяка стъпка от процеса има място за изкривяване на резултатите, начин да се направи по-силна претенция или да се избере какво ще бъде сключено“, казва Йоанидис. „Има интелектуален конфликт на интереси, който притиска изследователите да открият каквото и да е, което е най-вероятно да ги финансира.“
Йоанадис е съставил сложен математически модел, който ще предскаже доколко изследванията могат да бъдат недостатъчни, въз основа на всички тези променливи. Неговият модел прогнозира, че „80 процента от нерандомизираните проучвания (безспорно най-често срещаният тип [- особено в психологическите изследвания]) [] ще се окажат грешни, както правят 25 процента от предполагаемите златни стандартни рандомизирани проучвания и 10% от стандартните платинени големи рандомизирани проучвания. "
След това той изпробва този модел на 49 проучвания, които съдържаха най-високо оценените научни открития в медицинските изследвания през последните 13 години. Те бяха в най-цитираните медицински списания и самите те бяха най-цитираните статии.
От 49 статии 45 твърдят, че са разкрили ефективни интервенции. Тридесет и четири от тези твърдения бяха повторно проверени, а 14 от тях, или 41 процента, бяха убедително доказани, че са погрешни или значително преувеличени. Ако между една трета и половина от най-аплодираните изследвания в медицината се оказаха неблагонадеждни, обхватът и въздействието на проблема бяха неоспорими. […]
От тези 45 суперцитирани проучвания, върху които се е фокусирал Йоанидис, 11 никога не са били повторно тествани. Може би по-лошо, Йоанидис установи, че дори когато изследователската грешка бъде отстранена, тя обикновено продължава години или дори десетилетия. Той разгледа три известни здравни проучвания от 80-те и 90-те години, които по-късно бяха сериозно опровергани, и откри, че изследователите продължават да цитират първоначалните резултати като по-често верни, отколкото като недостатъци - в един случай в продължение на поне 12 години след дискредитирането на резултатите .
Толкова много за учените да тестват повторно публикуваните резултати на другите - единственият окончателен начин за борба с пристрастията. Как почти 25% от най-цитираните медицински изследвания през последните 13 години никога не могат да бъдат тествани повторно? Изумително.
Резултатът за повечето от нас е, че е почти невъзможно някой да каже дали дадено изследване наистина демонстрира положителни, нови и стабилни резултати. Без да се впускаме в подробен анализ на изследването - и на всички негови предшественици - поставянето на ново изследване в контекста е дълга и трудна задача. Освен това, моделът на Йоанидис предполага, че по-голямата част от психологическите изследвания - може би цели 80% от тях - вероятно са погрешни. Тук наистина няма сребърна подплата.
Освен може би, че изследователски екипи като Йоанидис работят, за да покажат как пристрастията могат да проникнат дори в изследванията на „златния стандарт“.
Промяната тук зависи до голяма степен от отделните изследователи, които научават за тези пристрастия и работят много по-усилено, за да гарантират, че техните изследвания са лишени от тях. Но тъй като вратар всъщност не проверява дизайна на изследването или статистическите методи, има малко стимул за промяна. Финансовите и кариерни стимули за изследователите да продължат да публикуват, както традиционно имат, за да запазят своята академична и професионална репутация, остават неотстъпчиво силни.
Пълната статия си заслужава времето: лъжи, проклети лъжи и медицинска наука
Макар и да не е идеален, ето нашият буквар от преди няколко години за това как да забележите съмнителни изследвания - добро ли е изследването?
