Лоша наука: MyType iPad Research

Мразя да давам преса на „изследователска фирма“, която не знае първото нещо за отчитане на статистически данни или основна методология в собствения си „изследователски“ доклад. Предполагам, че това се случва, когато съберете куп хора, които са предимно технолози, а не статистици или социални учени.

През изминалата седмица MyType, приложение за личност във Facebook, което взема вашите данни и след това продава обобщени отчети въз основа на вашите отговори на техния тест, публикува доклад за iPad. Те предположиха, че собствениците на iPad и тези, които искат да го купят, са „егоистични елити“, докато тези, които са критици на iPad, се характеризират като „независими отрепки“.

Вече можете да кажете, че това не е точно научен анализ, нали?

На първо място е отчитането на резултатите от MyType. Това, което не е включено в реалния доклад, са действителните използвани статистически тестове, статистическа значимост (p стойности) и брой на участниците във всяка изследвана група. Знаете ли, основните видове данни, които други изследователи търсят, за да оценят представените резултати. Без тази основна информация този вид „изследвания“ не е по-добър от този на студентите за техния клас по Психология 101.

Човек на име Джон Хол ги извика в раздела им за коментари, след което започнаха да дават широки изявления относно р стойностите (но отново, без конкретни подробности, разбивайки всеки анализ, което бихте очаквали на пазара или науката изследвания). Д-р F се опита да научи хората от MyType за основната статистическа теория, тъй като те очевидно не знаят много за това как да създадат добро изследователско проучване.

Това, което също става ясно от раздела за коментари, е, че някой редактира коментарите, за да премахне неща, за които по-късно е съжалявал, че е казал. Джон Хол цитира очевидно Тим Кьолкебек, който казва, че тъй като той е завършил компютърни науки (очевидно бакалавър), това по някакъв начин го квалифицира в дизайна и методологията на изследванията, както и в статистиката. Странно.

Но най-големият подарък, че това не е сериозно изследване, са прилагателните, избрани да опишат двете групи хора. Те са взели някои произволни черти на личността, за да опишат всяка група. Те също толкова лесно биха могли да кажат, че собствениците, които не са iPad, са невротични, несигурни, горди и небрежни. Това законна характеристика ли е на собствениците, които не са iPad? Разбира се, че не, това е само това, което показва техният малък, пристрастен набор от данни. Като се има предвид, че дори не е издържал теста за миризма, това би накарало повечето изследователи да направят пауза, за да се чудят дали са тръгнали по грешния път.

Използвайки собствените си данни, те биха могли да характеризират критиците на iPad като нетолерантни, не харесват благотворителност и приятелство, агресивни и цинични тийнейджъри. Уау, няма изненада там - ще трябва да дразните дали полът или възрастта изкривяват тези резултати (и да предложите алтернативно обяснение на отбелязаните черти). „Изследователите“ биха могли също да опишат собствениците на iPad като ориентирани към семейството, интелигентни възрастни с високи постижения, които са едновременно въображаеми и изискани.

Но те не го направиха. Те се опитаха да обобщят куп разнородни черти в закачливи маркетингови фрази, за да направят заглавия на новините - фрази, които не бяха нито особено точни, нито особено научно валидни. Това не попречи на десетки легитимни масови новинарски издания като CNET, ZDNet и дори Wired да докладват за резултатите, без да повдигат вежда за липсата на научна строгост или метод.