Мъртва ли е науката? С една дума: Не
Но това, което Лерер не успя да отбележи, е, че повечето изследователи вече знаят за недостатъците, които той описва, и усърдно работят за минимизиране на въздействието на тези проблеми.
Научният метод не е нарушен. Това, което Лерер описва, е просто наука, която работи - и работи.
Най-добрият отговор на това есе идва от писателя на ScienceBlogs PZ Myers, Науката не е мъртва. В това опровержение Майърс посочва основните проблеми с науката, когато тя не може да възпроизведе предишни констатации:
- Регресия към средната стойност: С увеличаване на броя на точките от данни очакваме средните стойности да се регресират до истинската средна стойност ... и тъй като често първоначалната работа се извършва въз основа на обещаващи ранни резултати, очакваме повече данни да се изравнят случайно значителен ранен резултат.
- Ефектът на чекмеджето на файлове: Резултатите, които са незначителни, са трудни за публикуване и в крайна сметка са скрити в шкаф. Въпреки това, след като резултатът се установи, противоположните резултати стават по-интересни и публикувани.
- Пристрастност на изследователя: Трудно е да се поддържа научно безпристрастие. Всички бихме искали да видим валидността на нашите хипотези, така че сме склонни съзнателно или несъзнателно да избираме резултати, които благоприятстват нашите възгледи.
- Търговско пристрастие: Лекарствените компании искат да печелят пари. Те могат да правят пари от плацебо, ако има някаква статистическа подкрепа за това; със сигурност има пристрастие към експлоатацията на статистически отклонения за печалба.
- Дисперсия в популацията: Успехът в добре дефинирана подгрупа от популацията може да доведе до малко пълзене: ако лекарството помага на тази група с добре дефинирани симптоми, може би трябва да опитаме с тази друга група с маргинални симптоми. И не ... но тези цифри все още ще бъдат използвани за оценка на цялостната му ефективност.
- Опростен шанс: Открих, че е трудно да се доближи до хората. Но ако нещо е значително на ниво p = 0,05, това все още означава, че 1 на 20 експеримента с напълно безполезно лекарство все пак ще покаже значителен ефект.
- Статистически риболов: мразя този и го виждам непрекъснато. Планираният експеримент не показа значими резултати, така че данните се сравняват и всяка значима корелация се извлича и публикува, сякаш е предназначена. Вижте предишното обяснение. Ако наборът от данни е достатъчно сложен, винаги ще намерите корелация някъде, чисто случайно.
Номер 1 обяснява много от проблемите, които откриваме в науката днес, особено в психологията. Знаете повечето от тези експерименти, за които сте чели Психологическа наука, водещата публикация на Асоциацията за психологическа наука? Те са глупости. Те представляват N = 20 експеримента, проведени върху малки, хомогенни проби от предимно кавказки студенти в средните западни университети. Повечето от тях никога не се репликират и все още по-малко се репликират върху размери на проби, които вероятно биха показали, че първоначалните резултати не са нищо повече от статистическа случайност.
Изследователите вече знаят това, но живеят по съвсем различен правилник, отколкото вие или аз. Техният поминък зависи от продължителността им да правят добри, публикувани изследвания. Ако спрат да правят това изследване (или не могат да го публикуват в рецензирано списание), те са изложени на по-голям риск да загубят работата си. Известно е като „публикуване или загиване“ в академичните среди и това е съвсем реална мотивация за публикуване на каквото и да е изследване, дори ако знаете, че резултатите вероятно няма да бъдат повторени. Вижте номер 3 по-горе.
И накрая, виждам толкова много от номер 7 в изследванията, които преглеждам, че е почти неудобно. Научният метод работи добре и надеждно само когато предварително формулирате хипотези, стартирате своите обекти, за да събирате данните си и след това анализирате тези данни според хипотезите, с които сте започнали. Ако решите да започнете да променяте хипотезата, за да се побере на данните, или да стартирате статистически тестове, на които не сте разчитали, вие замърсявате констатациите си. Започвате от риболовна експедиция, която всеки изследовател е правил. Но това, че всички са направили това означава, че е добро или етично поведение, в което да се включите.
Проблемът е, че изследванията отнемат много време и често са скъпи. Ако току-що сте изпробвали 100 субекта в проучване и не сте открили нищо важно (според вашите хипотези), не само няма да публикувате това изследване, но просто сте загубили месеци (или дори години) от професионалния си живот и вашия винаги ограничен бюджет за научни изследвания.
Ако не можете да видите как това може да доведе до публикуване на по-малко от оптималните констатации от изследването, тогава може да сте малко слепи за основната човешка психология и мотивация. Тъй като изследователите не са супер-хора - те имат същите грешки, пристрастия и мотивация, както всеки друг. Научният метод - когато се следва стриктно - трябва да отчете това. Проблемът е, че всъщност никой не наблюдава изследователите, за да се увери, че го следват, и няма присъщ стимул за това.
Ще завърша с това наблюдение, отново от PZ Myers,
Това е всичко, което тази суматоха наистина казва [- s] omesimes хипотези се оказват погрешни и понякога, ако подкрепата за хипотезата е изградена върху слаби доказателства или силно изведена интерпретация на сложен набор от данни, може да отнеме много време за да се появи правилният отговор. Така? Това не е провал на науката, освен ако по някакъв начин не очаквате незабавно удовлетворение за всичко или потвърждение на всяка заветна идея.
Амин.
Мнения на други за есето на Лерер
Науката не е мъртва - PZ Myers
В похвала на научната грешка - Джордж Мъсер
Хората проблем ли са с научния метод? - Чарли Пети
Истината, в която ще се усъмним: „Ефектът на упадъка“ означава ли, че цялата наука е „истинска“? - Джон Хорган
Ефектът на мистериозния упадък - Йона Лерер
