Механичен турчин за спасяване на изследванията на психологията?
Което е истински проблем, тъй като както отбелязах още през август 2010 г., има буквално хиляди изследвания по психология, базирани на нищо повече от един куп студенти от един кампус в университет в САЩ, докато младите възрастни, които посещават колеж, могат наистина ни помогнете да разберем някои аспекти на човешкото поведение, не можете просто да предположите, че поведението, което сте наблюдавали в тези проучвания, се отнася и за 60-годишни жени и мъже.
Влезте в услугата на Amazon.com Mechanical Turk на помощ. Може ли технологията да помогне за решаването на трудностите при намирането на достатъчно хора, които са по-представителни за населението, и да го направят по рентабилен начин?
Като начало може да помогне да се разбере какво е механичен турчин. Това е онлайн пазар, който позволява на продавачите да купуват човешки труд на много евтини разходи за някаква онлайн задача. „Сайтът може да се похвали с голяма, разнообразна работна сила, състояща се от над 100 000 потребители от над 100 държави, които изпълняват десетки хиляди задачи всеки ден“, отбелязват изследователите. Тези работници получават заплащане на парчета за всяка задача, понякога и до 1 цент. Задачите се различават и могат да бъдат направени от разглеждане на уебсайт, който търси грешки, до попълване на анкети.
А, да, попълване на анкети. Много психологически изследвания се основават на това хората да попълват анкети. Не би ли било хубаво, ако успеем да накараме хората - хора, които не са били студенти - да правят това с нещо по-малко от 10 долара на анкета ... Да кажем, 10 цента?
Buhrmester и сътр. (2011), за да разбере дали такива хора с механичен турчин ще попълват анкети по начин, който е в съответствие с хората, от които може да поискате да направят нещо подобно лице в лице.
Първо, изследователите проучиха демографските данни на 3006 участници в Mechanical Turk и ги сравниха с голяма интернет извадка, която не беше получена от Mechanical Turk. Те установиха, че участниците в Mechanical Turk (MTurk) са по-разнообразни както от извадката в Интернет, така и от стандартната извадка от популацията на студентите.
След това те провериха различни ценови точки (2, 10 и 50 цента) за попълване на набор от проучвания, които отнемаха различно време (5, 10 и 30 минути). Това, което откриха, не би трябвало да е изненадващо за всеки, който използва MTurk:
Тези анализи предполагат, че участниците могат да бъдат наети бързо и евтино. Процентът на участие е чувствителен към сумите за компенсации и ангажиментите за време, но нашите констатации показват, че е възможно да се събират проби с приличен размер чрез MTurk само за долари. Дори когато предлагахме само 2 цента за 30-минутна задача, натрупахме 25 участници (за около 5 часа време за публикуване). Освен това, като леко увеличихме компенсацията (например до 50 цента), успяхме да получим същия брой участници за по-малко от 2 часа време за публикуване.
Каква полза обаче има от евтината работна ръка, ако тя не е с добро качество и не отговаря на психометричните стандарти, от които се нуждаят изследователите на психологията?
Изследователите установиха, че дори при най-ниското ниво на компенсация от 2 цента, нивата на плащанията изглежда не влияят върху качеството на данните. Изследователите могат да платят стотинки за попълване на анкети и надеждно да получат качествени данни.
Изследователите са изчислили средните алфа оценки на надеждност за всички нива на компенсация за шестте лични въпросника, които са въвели онлайн. Те установиха, че алтернативните резултати на MTurk са в рамките на две стотни от точка от традиционните алфа-проби. Те също така тестваха резултатите от теста за повторно тестване на надеждността и установиха средната стойност r = 0,88 с 60 процента степен на завършване на повторното тестване. Всичко това са много добри цифри и се сравняват благоприятно с традиционните методи.
Резултатът от това изследователско проучване предполага, че Mechanical Turk е надеждна алтернатива на използването на популации от колежа за получаване на данни от проучванията - и дори може да бъде по-добра алтернатива от традиционните интернет проучвания. Само за стотинки хората ще попълват дори обширни въпросници в усилията си да помагат на другите с техните проекти и изследвания. Въпреки че трябва да се направят повече изследвания, за да се потвърдят тези констатации, MTurk изглежда е пазар, който повече изследователи по психология трябва да обмислят, докато подготвят следващото си проучване.
Справка
Buhrmester, M., Kwang, T., & Gosling, S.D. (2011). Механичният турк на Amazon: нов източник на евтини, но все пак висококачествени данни? Перспективи за психологическата наука, 6 (1), 3-5.
Тази статия съдържа партньорски връзки към Amazon.com, където се плаща малка комисионна на Psych Central, ако е закупена книга. Благодарим ви за подкрепата на Psych Central!
