Поставяне на хладно пред науката: TweetPsych

Нова услуга, пусната тази седмица от уеб разработчик на име Дан Зарела, наречен TweetPsych. Зарела е и маркетинг мениджър на HubSpot, фирма за онлайн маркетинг. Зарела се нарича „учен“, защото предполагам, че звучи по-секси от „уеб разработчик“ или „маркетинг мениджър“, но той не изброява никакви академични данни. (Не бих споменал частта на учения или пълномощията, освен че Зарела прави конкретни научни твърдения за новата си услуга.)

Интересната нова услуга се предлага на пазара като предлагаща „психологическо профилиране“ въз основа на това, което публикувате в Twitter. Но всъщност това е просто услуга за анализ на съдържанието, използваща два психологически речника и последните ви 1000 туитове. Зарела твърди, че този анализ „изгражда психологически профил на човек“. Истинското психологическо профилиране е наука и обикновено се прави с много повече от едно парче от живота на човека (като това, което те пишат в услуга за микро-блогове). След това TweetPsych прави противоречивото твърдение, че е само за „развлекателни цели“. Кое е

Има проблеми с един от речниците, които Zarrella използва и в анализа. Един речник - LIWC - е валидна база данни за психологическа лингвистика. Но другият, речникът на английския регресивен образ (RID), е далеч по-малко. RID се състои от около 3200 думи и корени, определени за 43 категории мисъл и настроение. Основният проблем с RID е, че всъщност няма подкрепа за научни изследвания (въпреки цитирането на уебсайт от Zarrella, което изглежда, сякаш го прави). Той е разработен от един професионалист, който след това пише куп книги за него и други психоаналитични процеси. Книгата не е същото като рецензирана статия в научно списание (както изследователите знаят) и в RID липсва напълно емпирична подкрепа. Това предполага, че половината анализ е невалиден, преди дори да започнем.

Вторият речник, Лингвистичното проучване и преброяване на думи (LIWC), се основава предимно на писмената дума - писанията на хората - или изговорената дума - като терапевтична сесия или разговор между двама души. Не е разработен за анализ на изкуствено кратки записи от 140 знака, като тези, намерени в Twitter. Хората съкращават думи, когато пишат, поради ограничението на броя знаци и не е ясно, че простото измерване ще анализира точно всички думи, написани с нестандартни съкращения в движение. Ами повторните туитове също? Човек, който ретуитира нещо, не е непременно „говорене“, а вместо това действа като рупор за чужди думи. Различава ли услугата? Без да знаете степента на проблема, няма да имате представа дали вашият анализ е изкуствено пристрастен по някакъв начин (освен ако първо не сте проучили специално тези видове проблеми). Тези проблеми са адресируеми, но не са разгледани в тази услуга.

Способността на Zarrella да анализира бързо 1000 туитове и да сравнява целия текст, съдържащ се в тях, с тези два речника за няколко секунди е възхитителен подвиг на езиковото програмиране. Тогава предизвикателството е: „Как да представя резултатите от анализа по обмислен, интуитивен и приложим начин?“ Това е частта, при която TweetPsych просто не успява да достави.

Тъй като Зарела очевидно има малко психология, резултатите от психологията са доста незадоволителни. Получавате списък с „функции“ (на вашата личност? Вашето чуруликане?), Които включват неща като „Професия и работа“. До него е полезното описание „Говорите много за работата и работата си“ и резултат.

Боже, благодаря за страхотното прозрение.

Нямате представа какво означава резултатът, защото няма контекст за това. Добър или лош е 47,87 за работа? Каква е средната стойност? Други функции включват „Настоящо време“, „Движение нагоре“, „Положителни емоции“, „Отрицателни емоции“ и три дузини други категории.

Тази част от анализа, базирана на LIWC, също е толкова добра, колкото основния речник на LIWC. Докато категории като работа, постижения и отдих са всички „текущи проблеми“, които LIWC може да идентифицира, той няма категория за нещо като „проблеми, свързани с отношенията“. Но нямаше да знаете това, ако не познавахте LIWC. Може да е нещо, което да споменете на хората, които вземат анализа. Друго популярно актуално съдържание, редовно публикувано в Twitter - като политика, технологии и знаменитости - също не са част от LIWC. Така че отново те никога няма да се покажат в анализа, дори ако това е всичко, за което говорите. Така че информацията, която LIWC - и като разширение, TweetPsych - може да предостави, е ограничена. (Използването на персонализиран речник решава някои от тези проблеми, но това не е речник, който TweetPsych предлага.)

„Първичното, концептуално и емоционално съдържание“ от RID не съдържа абсолютно никакви описания и отново нищо, което да постави резултатите ви в какъвто и да е тип контекст или разбиране. Но тъй като това не е научен речник за начало, така или иначе можете почти да игнорирате резултатите. Те биха могли да бъдат разработени на случаен принцип и да предоставят също толкова полезна информация.

Последната част от настоящия анализ е „Други като теб“, общ компонент на всяка услуга за социални мрежи. Любопитното е, че този компонент липсваше от първата версия на този инструмент. Въз основа единствено на това, което пишете, той твърди „Някои хора, които мислят като вас“ и след това ви предоставя списък с други хора, които са отишли ​​в TweetPsych и са влезли в потребителското си име за анализ.

Разбира се не хора, които мислят като вас - това са хора, които чуруликат като вас. Това е важно разграничение. Услуга, която анализира малка част от това, което пишете всеки ден, и въз основа на анализ, който може да бъде опорочен от широкото използване на съкращения на своите потребители, със сигурност не може да претендира да анализира това, което мисля.

Колко надежден е TweetPsych? Е, днес, докато пишех тази статия, забелязах, че всички собствени резултати на Дан Зарела се промениха поради един туит (днес той е туитвал само веднъж). Резултатът му „заетост и работа“ спадна с 20%, а резултатът му „сегашно време“ се повиши с 16%. Резултатът от неговата абстрактна мисъл спадна с 16%. Как може всичко това да се случи само от един туит? Един туит - в сравнение с останалите му 999 туитове - не би трябвало да влияе толкова силно на резултата. Освен ако не се случва нещо друго.(Сравнете екранната снимка по-долу, направена в 14:55 ч. ET, с тази по-горе, направена в 9:00 ч. ET днес.)

Моите собствени резултати при анализ на последните 1000 туитове на Zarrella в програмата LIWC2007 показват нещо много различно. Не познавам методологията на Зарела (тъй като той не я сподели), но взех текста на последните му 1000 туитове и ги обработих в две форми чрез LIWC - извлечени и „както е“. Нито един от двата продукта не дава резултати, близки до това, което се появява в TweetPsych. Това може да се дължи на използването на по-стара версия на речника или на някаква променлива за трансформация, която той добавя към TweetPsych, която не разкрива. Можете да видите резултатите от този анализ на LIWC2007 тук. (Откроих в жълто неща TweetPsych е маркирал, а в зелено други области, които вече не са маркирани от TweetPsych; обърнете внимание на значителната разлика в оценяването.) Това обаче ви кара да се чудите какво точно се случва с услугата. Ако неговата психометрична надеждност и валидност са под въпрос, колко полезна е тя?

TweetPsych получава много положителна преса, само с малко скептицизъм. Джош Лоуънсън от CNet пише за услугата и само мимоходом отбелязва: „Това прави по-малко психологията и повече личния ви лексикон, но резултатите все още са доста забавно. " Я, забавно! Бен Патерсън в Yahoo! Tech каза: „За съжаление, психологическите профили, които TwitterPsych разпространява, не са последователното, повествователно разнообразие, което бихте могли да чуете от резидентния психиатър на тема„ Закон и ред: Престъпно намерение. “И все пак, не е ли съгласуван разказ далеч по-полезен отколкото някои неописани категории? Нито един от репортерите, нито оригиналната статия за Mashable (където, изненада !, Зарела е сътрудник), не отбелязват липсата на психология, която Зарела предлага на масата. Никой не свързва точките защо резултатите са толкова неудовлетворителни в техните интерпретации. Очевидно технологичните журналисти са страхотни в преразпределението на собствените си положителни съобщения за пресата, но не са толкова добри в това, че са истински журналисти, които се задълбочават в заявената наука за подобна услуга.

Разбира се, самият Зарела признава, че не е влагал много мисли в услугата, както каза на Ню Йорк Пост, „„ Хората просто обичат да се сравняват с други хора и да се опитват да „влязат“ в чуждите глави “, казва Зарела. „Това е като да бъдеш муха на стената по време на терапевтична сесия.“ „Терапевтична сесия? Наистина ли е толкова проницателно да откриеш, че някой говори за „движение нагоре?“ В бързане с пускането на услугата онлайн, Зарела очевидно никога не е задавал въпроса „Полезна ли е някоя от тази информация?“ Услугата, каквато съществува днес, е недовършена мисъл, която малцина ще преразгледат.

TweetPsych, въпреки ограниченията си, отвори вратата към бъдещи услуги, които всъщност предоставят използваема, полезна и полезна информация, която вероятно би имала по-голяма валидност. Представете си да вземете не само туитовете на даден човек, но и информацията, съдържаща се в неговия Facebook профил, блог и т.н., и да го поставите всичко в един огромен механизъм за анализ ... Тогава такъв двигател може да има способността да предоставя истинска психологическа представа за индивид, базиран на върху това, което казват онлайн.

До този момент имаме усилия за първокурсници като TweetPsych, които наистина трябва да се наричат ​​„TweetFun!“ Тъй като макар наистина да е забавно да се играе, той предоставя малко психологически поглед - освен от най-плиткия вид - на всеки.

(Можете да прочетете допълнителни опасения за TweetPsych от Тайлър Хейс тук.)