Големите данни могат да помогнат на компютрите ID емоции, свързани с изображения

Популярни сайтове като Twitter и Facebook и други канали вече са пълни със снимки, които помагат на човек по-добре да изразява мисли и чувства. Ново изследване предполага, че „големи данни“ - всякакви колекции от масиви от данни, толкова големи или сложни, че е трудно да се обработят с помощта на традиционни приложения за обработка на данни - могат да бъдат използвани за обучение на компютрите да интерпретират съдържанието и чувствата, свързани с изображенията.

Д-р Jiebo Luo, професор по компютърни науки в университета в Рочестър, в сътрудничество с изследователи от Adobe Research наскоро представи доклад на конференция на Американската асоциация за изкуствен интелект (AAAI), описващ прогресивно обучение с дълбока конволюционна невронна мрежа (CNN) .

След това обученият компютър може да се използва за определяне на настроенията, които тези изображения вероятно ще предизвикат. Луо казва, че тази информация може да бъде полезна за толкова разнообразни неща, като измерване на икономически показатели или прогнозиране на избори.

Задачата обаче е сложна. Анализът на настроението на текста от компютри сам по себе си е предизвикателна задача. А в социалните медии анализът на настроенията е по-сложен, защото много хора се изразяват с помощта на изображения и видеоклипове, които компютърът е по-труден за разбиране.

Например, по време на политическа кампания избирателите често споделят своите виждания чрез снимки.

Две различни снимки може да показват един и същ кандидат, но те може да правят много различни политически изявления. Човек би могъл да разпознае единия като положителен портрет на кандидата (напр. Кандидатът се усмихва и вдига ръце), а другият - отрицателен (напр. Снимка на кандидата, който изглежда победен).

Но никой човек не може да погледне всяка снимка, споделена в социалните медии - това е наистина „големи данни“. За да могат да правят информирани предположения за популярността на кандидата, компютрите трябва да бъдат обучени да смилат тези данни, което е подходът, който Луо и неговите сътрудници могат да направят по-точно, отколкото е било възможно досега.

Изследователите третират задачата за извличане на чувства от изображения като проблем за класификация на изображенията. Това означава, че по някакъв начин трябва да се анализира всяка снимка и да се поставят етикети върху нея.

За да започне процесът на обучение, Луо и неговите сътрудници използваха огромен брой изображения на Flickr, които са слабо обозначени от машинен алгоритъм със специфични настроения, в съществуваща база данни, известна като SentiBank (разработена от групата на д-р Ших-Фу Чанг в Колумбия Университет).

Това дава на компютъра отправна точка, за да започне да разбира какво могат да предават някои изображения.

Но машинно генерираните етикети включват и вероятност този етикет да е истина, т.е. колко сигурен е компютърът, че етикетът е верен?

Ключовата стъпка от тренировъчния процес идва следващата, когато те изхвърлят всякакви изображения, за които настроението или настроенията, с които са били етикетирани, може да не са верни. Така те използват само „по-добре“ обозначените изображения за по-нататъшно обучение по прогресивно подобряващ се начин в рамките на мощната конволюционна невронна мрежа.

Resaercher установи, че тази допълнителна стъпка значително подобрява точността на настроенията, с които е обозначена всяка снимка.

Те също така адаптираха този механизъм за анализ на настроенията с някои изображения, извлечени от Twitter. В този случай те използваха „разузнаване на тълпата“, като множество хора помагаха да се категоризират изображенията чрез платформата Amazon Mechanical Turk.

Те са използвали само малък брой изображения за фина настройка на компютъра и въпреки това, прилагайки този процес на адаптация на домейна, те са показали, че могат да подобрят съвременните методи за анализ на настроението на изображения в Twitter.

Една изненадваща констатация е, че точността на класификацията на настроението на изображението е надвишила тази на класификацията на текстовите настроения в същите съобщения в Twitter.

Източник: Университет в Рочестър