Класирането на парти-училищата предубедено, самоизпълняващо се пророчество?

Прегледът в Принстън публикува ежегодни списъци с колежи „Най-доброто от ...“ въз основа на онлайн-проучване на студенти във всеки колеж. Те описват процеса на проучване като:

Проучването на Princeton Review задава на учениците 80 въпроса за академичните среди / администрацията на училището, живота в университета, студентския състав и самите тях. Разговорите за класацията на това издание се основават на проучвания на 120 000 ученици (около 325 на кампус) в 366 училища в книгата (не във всички училища в страната) през 2006-07 и / или предходните две учебни години.

Което всичко звучи добре и добре, докато прочетете финия шрифт:

Нашето проучване е по-скоро качествено и анекдотично, отколкото количествено. За да се предпазим от създаването на писмено изписване, което не е подходящо за всеки конкретен колеж, ние изпращаме на административния си контакт във всяко училище копие от профила, който възнамеряваме да публикуваме, с достатъчно възможност да отговорим с корекции, коментари и / или направо възражения. Във всеки случай, в който получаваме искания за промени, ние предприемаме внимателни мерки, за да прегледаме предложенията на училището спрямо данните от анкетата на учениците, които сме събрали, и да направим подходящи промени, когато това е оправдано.

Най-убедителното за нас за това колко представителни са резултатите от нашето проучване е следното: Молим учениците, които вземат анкетата - след като са я попълнили - да прегледат информацията, която публикувахме за тяхното училище през предходната година, и да ни класират за неговата точност и валидност. Година след година получавахме високи оценки: Тази година 81 процента от учениците казаха, че сме прави.

Така че по принцип те признават, че данните от тяхното проучване имат за цел да предоставят субективна, разказваща картина на колежите - а не неща, от които можете да направите общи обобщения. И все пак, точно това е Princeton Review продължава да се отнася до техните данни - извличайте общи обобщения от своите проучвания и класирайте колежите по количествен начин. Самите колежи могат да окажат някакво неизвестно допълнително влияние върху това дали тяхното училище се появява в даден списък.Ако процесът на класиране изглежда по-малко прозрачен и прикрит с мистерия, това е нарочно.

Как изследователите могат да превърнат анекдотичните данни в количествени? Е, от научна гледна точка не можете (напр. Няма процедура, основана на изследвания, която да го направи, защото това е буквално сравнение на ябълки или портокали). Когато организация като тази прави нещо от този характер, можете да аргументирате, че всяка такава класация е само мнението на хората, които съставят списъка, въз основа на мнението на други хора за тези, които действително са посещавали училището.

Всичко това би било добре, освен че Преглед поставя всички тези неща в списъци, което предполага, че те имат обобщаващо значение, когато нямат. Списъкът с „Топ 20 парти училища“ не е нищо повече от мненията на някои хора, основани на „комбинация от анкетни въпроси относно употребата на алкохол и наркотици, часове на обучение всеки ден и популярността на гръцката система“. Те биха могли също толкова лесно да изберат различен набор от отговори, които да погледнат по друг начин, което би изкривило класирането на училищата по различен начин.

По-големите училища с по-голям брой ученици едва ли ще се различават значително по отношение на размера на гръцката им система (голяма) и голямото разнообразие от социални и други неакадемични възможности, които те предлагат на своите ученици (в резултат на по-малко часове на обучение всеки ден) . Това прави ли такова училище по-вероятно да бъде „парти училище“, когато се комбинира с гледане на това, което учениците казват колко пият? Разбира се, че не. Това може просто да означава, че училището е чудесно място както за учене, така и за общуване.

Плакат, представен на APS миналия уикенд, озаглавен „Самоизпълняващо се пророчество и преглед в Принстън: описания или предписания за пиене в колеж?“ вложи предложението в главата ми, което измерва като Princeton Review имат някаква съмнителна валидност. Изследователите разгледаха реалните данни за употребата на алкохол в продължение на десетилетие за един среден университет, разположен в западната част на Ню Йорк, и ги сравниха с различни свързани класации в Princeton Review. Те намериха класацията в Princeton Review няма систематична корелация с нито една от данните за употребата на алкохол, които са изследвали. Това, което те откриха, е, че данните за консумацията на алкохол корелират с публикуваните класации, след като са били публикувани - което предполага самоизпълняващо се пророчество.

Изследователите отбелязват, че тъй като тяхното проучване е проведено само в един университет, изследването ще трябва да бъде възпроизведено в други колежи и университети, преди да се направи обобщение от констатациите. Но констатациите са интересни за отбелязване въпреки това.

Справка:

Кларк, C.D. и др. ал. (2008). Самоизпълняващо се пророчество и Принстън Ревю: описания или предписания за пиене в колеж? Плакат, представен на 20-ия годишен конгрес на Асоциацията за психологическа наука, Чикаго, IL, 24 май.