Предизвикателствата на точното докладване при изследване на видеоигри

Наскоро група от приблизително 230 медийни учени, психолози и криминолози изпрати отворено писмо до американската психологическа общност с молба да оттеглят дефектните си политически изявления относно насилието в медиите и видеоигрите и да се въздържат от подобни изявления в бъдеще.

Това усилие е израз на загриженост относно начина, по който научните изследвания в тази област са съобщени от професионални застъпнически групи като APA на широката общественост.

Накратко, предишните политически изявления преувеличават силата и последователността на медийните ефекти, предполагат научен консенсус там, където не е имало, и може би са нанесли много щети на доверието в нашата област в процеса.

Корените на нашите проблеми в областта на медийното насилие вероятно са много. Има очевидни морални кръстоносни и политически елементи, които са отдалечили полето от обективността и са се превърнали в твърда идеология. Някои анти-медийни изследователи започнаха да размахват колеги, които не са съгласни с тях като „апологети на индустрията“. За съжаление е да видим какво е станало с културата на нашата изследователска област. Разбира се, разумно е учените да стигнат до различни заключения относно това дали медиите допринасят за агресията, но мисля, че е по-забележително колко агресивни са някои изследователи на агресията. Може би провеждането на изследвания за медийно насилие прави човек по-агресивен от самото гледане на медийното насилие.

Един проблем, който съм имал в тази област, е начинът, по който данните често се представят подвеждащо пред обществеността. В скорошна статия, публикувана в Американски психолог, обсъждам как групи като APA и Американската академия по педиатрия разпространяват коментари, които са малко по-добри от научните градски легенди. Те включват понятията или за научен консенсус, или за последователни ефекти, но също така и дълго дискредитирани сравнения с медицински изследвания като тютюнопушене и рак на белия дроб или твърдения, че интерактивният характер на видеоигрите ги прави различни от другите медии.

Някои проблеми с мета-анализа

Също така имам притеснения относно начина, по който метаанализът е използван неправилно в тази област. Разбира се, мета-анализът вероятно се използва неправилно доста често, особено в подхода „средният ефект печели“ при използването на мета-анализ за разрешаване на академични дебати. Използването на мета-анализ по този начин е очевидно пристрастно в полза на тези, които вярват в даден ефект и не е трудно да се покаже защо.

Нека си представим, че имаме хипотезата, че аспержите причиняват депресия. Изследователите провеждат десет различни изследвания на тази хипотеза, всички идентични по размер на извадката, методология и т.н.Пет от тях намират корелации в обхвата на r = .3 (малка, но практически значима корелация). Останалите не намират нищо.

Хвърлете ги заедно в основен мета-анализ и средният размер на ефекта ще бъде r = .15. Неприятелите на аспержи навсякъде (включително и аз) обявяват победа. Но научно това е глупост. Метаанализът се използва за отмиване на 50 процента неуспех за репликация, нещо, което всъщност е доста мрачно за въпросната хипотеза.

Както отбеляза Джон Грохол в скорошна публикация в блога, един пример за злоупотреба с мета-анализ е мета-анализът на насилието във видеоигрите от 2010 г. от Андерсън и колегите му. Д-р Грохол отбелязва редица проблеми с този мета-анализ, като пристрастие при подбора във включените изследвания. Авторите на мета-анализа Anderson et al. Са склонни да бъдат привърженици на идеята, че трябва да се проведе цялостно търсене на непубликувани изследвания. В скорошен обмен, който ще бъде публикуван в предстоящото издание на Европейски психолог, един от авторите (д-р Брад Бушман) призна, че не са направили такова изчерпателно търсене на непубликувани изследвания (нещо, което тези от нас в тази област знаят от известно време).

Медийно отчитане на мета-анализи

Въпреки това имам повече притеснения относно начина, по който този мета-анализ често се съобщава, за да се подразбира последователност в тази изследователска област, когато такава не съществува.

Например в неотдавнашна статия за CNN д-р Бушман описа техния мета-анализ по следния начин:

С моите колеги направихме изчерпателен преглед на 136 статии, докладващи 381 ефекта, включващи над 130 000 участници по целия свят. Тези проучвания показват, че насилствените видеоигри увеличават агресивните мисли, гневни чувства, физиологична възбуда (напр. Пулс, кръвно налягане) и агресивно поведение. Насилителните игри също намаляват помагащото поведение и чувствата на съпричастност към другите. Ефектите са настъпили за мъже и жени от всички възрасти, независимо в коя държава са живели.

От това широко обобщение читателите могат да бъдат извинени, че мислят, че 136-те статии са стигнали до един и същ извод или че 130 000 участници са реагирали на насилствените видео игри по един и същи начин. Това не беше отдалечено. Вместо това мета-анализът беше използван, за да помете неуспешните репликации и да нарисува картина на последователност. Това е, че „средните размери на ефекта“ печелят злоупотреба с мета-анализ. Ако стартирате мета-анализ и получите нещо различно от нула, защо не продължите и не намеквате, че цялото поле е последователно?

Д-р Бушман също не успя да отбележи, че това са предимно двувариантни отношения, за които той докладва, и че в много случаи контролирането на нещо толкова просто като пола и (в надлъжни проучвания) агресията по време 1 значително намалява оценките на размера на ефекта, често до тривиални стойности. Понякога съм виждал презентации, базирани на данни от метаанализа от 2010 г., използван да се намеква, че насилието във видеоигри е на второ място след насилието на бандата като причина за младежкото насилие (въпреки че повечето изследвания за видеоигри са насочени към агресията, а не към насилието) и много по-напред от неща като насилствено родителство. Това очевидно е глупост, дори ако се притеснявате от насилствени видео игри.

Метаанализът, който премахва несъответствията в дадена област и се използва за велики прокламации за предстояща гибел, е лоша наука. Но това прави страхотни заглавия. Което подозирам, че нашата област за съжаление се свежда до: провеждане на проучвания не за провеждане на обективна наука, а за създаване на заглавия, които ще изплашат родителите, политиците и други учени, доколкото е възможно, в съответствие с определен морален кръстоносен поход.

Именно този културен разпад в нашата област накара толкова голяма група учени да изразят загрижеността си към APA. Да се ​​надяваме, че APA слуша.