Добро ли е изследването?
Искате ли да бъдете по-добър потребител на социални научни изследвания? Ето кратък лист с ясли за определяне на общата легитимност и обобщаемост на почти всяко изследване на социалните науки. Имайте предвид, че този лист за ясли няма да бъде 100% точен или подходящ, за да се прилага за всяко проучване, за което може да четете. Но това е добро кратко ръководство, което ще ви помогне да започнете.
Що за изследване беше това?
Най-надеждните, най-добрите проучвания използват експериментална група и контролна група. Проучванията, които изключват контролната група, обикновено са по-малко полезни от тези, които го правят. Проучването е най-малко мощният тип изследване, което човек може да проведе, тъй като няма експериментална или контролна група, но може да бъде полезно за идентифициране на тенденции или нула в концепции или хипотези, които могат да бъдат изучени по-задълбочено.
Колко голямо беше проучването?
Проучване с по-малко от 50 души в практически всеки експериментален дизайн ще има много, много ограничена обобщаемост (защото почти винаги им липсва достатъчна статистическа мощ). Това означава, че макар резултатите да са потенциално интересни, докато не бъдат възпроизведени в друга група (и за предпочитане по-голяма група), трябва да ги приемате със зърно. (Някои изследвания, като еднократни експериментални проекти, могат също да предоставят единични точки на интерес или бъдещи изследвания, но като цяло могат да ни кажат малко за по-широките тенденции или лечения.)
Кой беше в проучването?
Доброто изследване се стреми да използва участници, които са представителни за населението като цяло. Колкото по-представителна е извадката, толкова повече човек може лесно да обобщи резултатите. Така че проучване на 200 участници, което е балансирано по пол, раса, социално-икономически статус и история, е далеч по-добро от проучване на 200 студенти в Харвард или OSU.
Колко дълго се изучаваха хората?
Изследване, което изследва участниците за по-малко от 12 седмици за какъвто и да е вид лечение, е практически безполезно. Никой клиницист или лекар, които познавам, не е имал типичен, обикновен тип лечение, което да е работило за по-малко от 12 седмици. Проучване, което изследва група хора в един момент от времето, означава, че намерените резултати са добри за този конкретен момент във времето.
Има добри и разумни изключения от това правило, за лечение на тревожност (лекарствата често се приемат при необходимост, а не всеки ден) и за неща като остра психоза или мания. Проучванията, разглеждащи тези специфични проблеми, могат да бъдат за по-кратки периоди от време и все пак дават ценна информация.
Всъщност всяко проучване, което е по-кратко (като 4-седмично или 8-седмично проучване) ни предоставя някои информация. Просто тази информация е моментна снимка на типичния лечебен режим и не ни дава толкова пълна картина, колкото по-продължителното проучване на лечението. Продължителността на изследването е по-малко притеснителна за всяко проучване, което не изследва специално лечение за психично разстройство.
Кой финансира проучването?
Като цяло повечето проучвания, които се финансират от държавата, ще показват по-малко пристрастия от тези, финансирани от компания (като фармацевтична компания) с пряк интерес от постигането на конкретен резултат. На практика всички изследвания се провеждат в университетска или болнична обстановка, така че информацията за финансиране може да не е лесно достъпна (организациите на изследователите обикновено предоставят малко информация за начина, по който е финансирано проучването). Държавното финансиране не означава, че дадено проучване не може да бъде лошо проектирано или изпълнено, а просто означава, че не е нужно да се притеснявате за „пристрастие към финансиране“, влияещо върху резултатите.
Как авторите говорят за своите резултати?
Авторите трябва да бъдат смирени и предпазливи по отношение на резултатите си и да не правят твърде широки обобщения или обобщени заключения (особено относно причинно-следствената връзка, ако причинно-следствената връзка не е била включена в изследването, както обикновено не е). Авторите също трябва ясно да опишат ограниченията на настоящото изследване във всяка статия в списанието; статиите, които пропускат такава информация, трябва да се разглеждат скептично, тъй като всяко изследване има ограничения.
Авторите също трябва ясно да отбележат разликата между клиничната и статистическата значимост в проучванията за лечение. Промяна от 2 или 3 точки в скалата, измерваща депресията, може да бъде статистически значима (в резултат на „положителен“ резултат), но да има малко клинично значение за повечето участници. (Вижте тази статия или тази статия за примери за това.) Въпреки че е информативно да се знае, че експерименталната група е статистически различна (например по-добра от случайността) от контролната група, тази разлика може да няма реалното значение за повечето от нас .
Пазете се и от проучвания, които разчитат изцяло на клинично оценени мерки или скали без никакви скали с оценка на пациента. Кой по-добре да ви каже, че лечението действа от самия пациент?
* * *Благодарим на CL Psych за прегледа на по-ранен проект на тази статия.
