Нека данните говорят? Не, не винаги
Франк Л. Шмит, уважаван професор и изследовател от Университета на Айова, изнесе лекция в 20-ия конвент на Асоциацията за психологически науки за това как могат да лъжат научните данни. Да, точно така, емпиричните данни - дори тези, публикувани в уважавани, рецензирани списания - редовно не казват истината.
Беседата на Шмид беше добре посетена в една от най-големите бални зали в хотел Sheraton and Towers в Чикаго, където се провежда конгресът. Макар и неравномерно представяне, основните точки на Шмит се натъкнаха.
Едната от тях е, че наивната интерпретация на множество набори от данни често е най-правилната - бръсначът на Occam („най-простото решение обикновено е най-добрият отговор“). Шмит твърди, че доброто изследване открива простата структура, залегнала в основата на сложните данни.
Той обобщи, че има две основни причини, поради които данните могат да „лъжат“ в изследванията - грешки при вземане на проби и грешки при измерване.
Най-голямата критика на Шмид беше насочена към фетиша на психологическата наука с тестване на значимостта - например статистическа значимост. Той желае психологията да се отдалечи от зависимостта и очарованието си от статистическа значимост, тъй като тя е слаба, пристрастна мярка, която всъщност казва малко за основните данни или хипотеза.
Шмит описа шест мита за тестване на значимостта на околните. Един от митовете беше, че добрата стойност на р е показател за значимост, когато всъщност е само индикация за нивото на мощност на изследването. Друго е, че ако не бъде открита значимост, това означава, че не е намерена връзка между променливите (в действителност, това може просто да означава, че изследването не е имало достатъчно сила).
Решенията на Schmidt са прости - вместо това отчетете размери на ефекта (точки оценки) и доверителни интервали и премахнете изцяло тестването на значимостта.
Той завърши с излагането на новооткрития акцент върху мета-анализите в психологическите изследвания, като извика списанието Психологически бюлетин. В все още непубликувано проучване, той и други изследователи проучиха всички метаанализи, публикувани в Психологически бюлетин от 1978-2006 г. - общо 199 проучвания.
Изследователите установиха, че 65% от изследваните проучвания използват модел на „фиксирани ефекти“ за своя мета-анализ. Шмид твърди, че в моделите с фиксирани ефекти връзката на данните се подценява (с до 50%) и че изследователите прекалено преценяват колко точно са те (колко малко грешка има в тази оценка). Вместо това Шмит предпочита модели на „случайни ефекти“, които по-добре отчитат тези вариации.
Той също така отбеляза, че в 90% от изследваните проучвания не са направени корекции за грешка в измерването - една от основните причини, които той цитира, че данните могат да „лъжат“ в психологическите изследвания.
Като се има предвид този анализ, Шмид предполага, че много метаанализи, публикувани в рецензирани списания, стигат до неверни или грешни заключения.
За съжаление, това състояние на нещата скоро няма да се промени. Докато много психологически списания са приели по-строги стандарти за публикуване на изследвания, които по-добре се придържат към предложенията на Шмит, много от тях все още не и изглежда нямат намерение да се променят.
Това, което означава за обикновения човек, е, че не можете да се доверите на всяко публикувано проучване, само защото се появява в рецензирано списание, което след това се публикува в медиите като „факт“ чрез съобщение за пресата. Такива факти са податливи, променливи и дефектни. Само чрез внимателно четене и анализ на такива изследвания можем да разберем стойността на данните, които те представят.
