Мне это нравится!

Когда дело доходит до видео на Youtube, профилей в Instagram или постов в Facebook, «мне это нравится» или «большой палец вверх» кажется единственной реакцией, которую мы показываем. На макроскопическом уровне это может указывать на качество и привлекательность видео, фотографий и статей, но «мне нравится» определенно не отражает сложные эмоции, которые возникают в нашем мозгу.

Точно так же, как нам нравятся вещи, которые мы видим в Интернете, нам также могут нравиться или не нравиться продукты, бренды или услуги. Но вместо того, чтобы использовать очевидные кнопки «Нравится», мы обычно выражаем свои мысли в виде текста в социальных сетях, блогах или онлайн-обзорах.

Это проклятие и благословение — или, скорее, вызов и возможность. Чтобы понимать текст в большом масштабе, необходимо разработать вычислительные алгоритмы, которые понимают язык. В частности, машинам приходится иметь дело с нюансами языка, такими как идиомы, неоднозначные значения, разговорные выражения, орфографические ошибки, сленг и т. д. — с конечной целью понять, к какому продукту или бренду относится текст и является ли он положительным или отрицательным. .

Именно этим занимается область Анализ настроений. Используя методы машинного обучения, исследователи и специалисты по данным пытаются ответить на вопрос: «Этот текст положительный или отрицательный?».

Статус кво

Начиная с начала 2000-х анализ настроений стал яркой площадкой для исследований в области машинного обучения и одним из популярных приложений для демонстрации эффективности и точности новых алгоритмов. Применяя его к обзорам фильмов на IMDB, предвыборным кампаниям в Twitter или обзорам ресторанов на Yelp, исследовательское сообщество может подтвердить универсальность, точность и преимущества проведения анализа настроений. Эффективный анализ обширных баз данных отзывов и широкомасштабные опросы в социальных сетях могут дать предприятиям чрезвычайно ценную информацию о рынке и клиентах.

Естественно, растущий спрос на такое понимание настроений побудил известные фирмы, а также бесчисленные технологические стартапы создавать продукты для анализа настроений. С доходом, приближающимся к 1 млрд долларов в 2011 году, индустрия текстовой аналитики быстро расширяется, и ожидается, что к 2020 году объем рынка составит 6,5 млрд долларов.

Следующий шаг

Сложность текстовых данных затрудняет извлечение значимой информации — но такая же сложность может содержать информацию о намерениях и мыслях автора. И именно поэтому в Gyana мы рассматриваем это как возможность, а не как вызов.

Уже существуют различные технологии распознавания речи и изображений, которые могут точно найти основную эмоцию в разговорной речи и фотографиях лиц. Тем не менее, мысли, мнения и идеи в социальных сетях в основном передаются в письменной форме. По оценкам, 80% всей информации в Интернете находится в текстовой форме.

Возможно, текст в социальных сетях не так прост, как «нравится» или «не нравится». Краткий обзор товара на Amazon может содержать больше информации, чем просто «нравится» или «не нравится». Такие ярлыки, как «позитивное» или «негативное», вряд ли могут отразить всю сложность политических взглядов, как указано в Твиттере.

При разработке маркетинговых стратегий одним из основных вопросов является то, какие эмоции вызывать у потенциальных клиентов и привязывать к продукту. Должна ли плитка шоколада вызывать у потребителей чувство эгоцентричной радости; или нужно поделиться с друзьями и вызвать чувство привязанности?

Или при анализе негативной тенденции на финансовых рынках инвесторов может интересовать, связана ли такая тенденция со страхом — или гневом — выраженным в социальных сетях; ясно, что любая эмоция будет иметь очень разные причины и последствия.

Так зачем же пренебрегать этими деталями, рассматривая только простые положительные и отрицательные категории? И почему предприятия должны довольствоваться анализом настроений, если они могут узнать гораздо больше от своих покупателей и клиентов?

Вопрос, на который мы в Gyana хотим ответить: «Как люди относятся к этому?», а не упрощенный вопрос «Нравится ли это людям?»

В поисках ответов на наш вопрос мы лучше поймем, как клиенты или широкая публика воспринимают услуги, бренды, события и поп-культуру. Благодаря крупномасштабному анализу эмоций мы в конечном итоге поймем, как события, люди, новости и т. д. вызывают эмоции в разных географических и демографических регионах.

В том, как мы проводим исследования передовых алгоритмов машинного обучения, разрабатываем варианты использования в бизнесе и используем нашу междисциплинарную команду, мы являемся пионерами в области аналитики эмоций.

Эмоциональные проблемы

Почему при очевидных преимуществах анализа эмоций рынок в настоящее время так сосредоточен на настроениях?

Хотя может показаться, что извлечение настроений из текста аналогично извлечению эмоций, последнее является задачей значительно более сложной.

Определение и категоризация эмоций сами по себе были предметом научных дискуссий: «Колесо эмоций» Роберта Плутчика определяет 8 основных эмоций как противоположности друг другу, а затем конструирует еще 8 производных эмоций.4 С подходом под- и суперклассов Shaver et al. определить 6 первичных эмоций и получить дополнительные вторичные и третичныеэмоции.5 Кэрролл Изард использует комбинацию когнитивных и социальных функций, чтобы найти 10 основныеэмоции.

Мы надеемся, что этот (неполный) список теорий демонстрирует, что простое определение эмоции нетривиально и что предпринимались многочисленные попытки структурировать и классифицировать эмоции.

На данный момент было проведено очень мало исследований в области эмоций, присутствующих в социальных сетях; еще предстоит выяснить, как эмоции передаются в Интернете и как они кодируются в письменном языке.

С более технической точки зрения анализ настроений проще, потому что ярлыки «положительный», «нейтральный» и «отрицательный» обычно являются взаимоисключающими или могут быть представлены на линейной шкале положительного-негативного отношения. Найти противоположности эмоциям не так просто; что противоположно страху, гневу или меланхолии?

На самом деле существует множество примеров, демонстрирующих смешанные эмоции. «Весь день шел дождь, но, по крайней мере, сегодня вечером я посмотрю свое любимое шоу» может содержать эмоции печали и предвкушения.

Переход к масштабному анализу эмоций с помощью методов машинного обучения требует последовательной математической модели эмоций, которая может быть разработана только в тесном сотрудничестве со специалистами в соответствующих областях психологии. Эта модель эмоций должна иметь математический и психологический смысл, а также давать полезную информацию о продуктах.

Кроме того, эмоции бывает очень трудно понять — даже людям. Требуются годы обучения, чтобы стать психиатром, и годы жизненного опыта, чтобы распознавать эмоции. Чтобы эмулировать этот опыт и чувство деталей в человеческом языке на машинах, нужно попытаться применить машинное обучение к эквивалентным большим наборам текстовых данных.

Анализ настроений не требует такого глубокого понимания естественного языка. Использование прилагательных с положительной коннотацией, таких как «хороший», «замечательный» и т. д., уже дает отличное представление о настроении текста, но применение той же стратегии к эмоциям гарантированно потерпит неудачу.

Технические трудности

1. Отсутствие размеченных обучающих данных:

Качество результата алгоритма машинного обучения всегда зависит от данных, которые в него вводятся. И это значительно облегчает жизнь при выборе анализа настроений.

Существует множество наборов данных текста, дополненных эмоциями, таких как набор данных Cornell Movie Review, корпус Sentiment140, набор данных SemEval, которые позволяют применять контролируемые алгоритмы обучения. В обучении с учителем алгоритм, по сути, выводит черты текста, которые имеют отношение к настроению. Используя широкий арсенал методов машинного обучения — от простой логистической регрессии до глубоких нейронных сетей со сложной архитектурой — анализ настроений уже дает очень точные результаты.

Но не существует наборов данных с метками эмоций!

Следовательно, чисто контролируемое обучение не может быть применено для решения задачи анализа эмоций. Вместо этого мы должны научить машину обнаруживать эмоции неконтролируемым или полуконтролируемым образом. В контексте анализа эмоций неконтролируемое обучение будет группировать твиты/текст/слова в зависимости от того, представляют ли они похожие эмоции.

Например, такие слова, как «скорбь», должны быть ближе к «потере» или «сожалению», чем к «удивительно» или «чудесно». Гневные отзывы должны формировать кластер, отличный от отзывов, выражающих удивление. С математической точки зрения нетривиально определить расстояние между словами или твитами, необходимое для кластеризации.

Возможно, качество кластеризации, кроме того, сильно зависит от нашего определения и классификации эмоций, как объяснялось на предыдущей странице. Все эти очень фундаментальные предположения оказывают прямое влияние на результаты — и без научной аргументации и большой осторожности поставят под угрозу точность результатов анализа эмоций.

2. Неоднозначность эмоций:

Нечеткая классификация эмоций также создает техническую проблему, в частности потому, что не все эмоции не пересекаются. Например. текст мог указывать на эмоции «счастливые» и «взволнованные» автора. Следовательно, необходимо разработать алгоритмы машинного обучения, чтобы возвращать смесь эмоций, и в идеале они должны также измерять интенсивность каждой эмоции. В твите типа «Чувствую себя прекрасно после собеседования!» алгоритм должен уметь обнаруживать немного «счастья», очень много «уверенности» и никакой «печали».

Неоднозначность и двойные значения в естественном языке еще больше усугубляют эту проблему. Например. в «непредсказуемом сюжете» слово непредсказуемый имеет коннотацию волнения, а в «непредсказуемой погоде» это же слово может указывать на неудовлетворенность. Во многих случаях недостаточно рассматривать слова по отдельности без контекста.

3. Понимание синтаксиса эмоций:

Многие современные алгоритмы анализа тональности делают предположение о мешке слов, что в основном означает, что синтаксис текста игнорируется, а предложение скорее представляется как набор слов. без порядка. Поскольку эмоции в тексте, очевидно, более тонкие, это предположение по своей сути ограничивает способность алгоритмов обнаруживать их. Вместо этого необходимо разработать методы машинного обучения, которые могут понимать порядок слов и, что более важно, намерения, стоящие за использованием определенного синтаксиса.

Особенно в социальных сетях люди часто используют знаки препинания, чтобы подчеркнуть свое мнение, и смайлики, чтобы дополнить свои мысли символикой эмоций. Смайлики сравнительно легко интерпретировать, и, если они присутствуют, они всегда должны вносить значительный вклад в эмоции, извлекаемые из текста.

4. Выявление субъективности:

При анализе социальных сетей важно выявить субъективность текста. Отражает ли текст мнения и эмоции автора или это объективное высказывание, не имеющее прямого отношения к человеку? Чтобы сопоставить эмоции с местами, событиями и людьми, необходимо точно анализировать информацию о субъектах, объектах и ​​глаголах предложений.

Машинное обучение

Прежде чем извлекать чувства или эмоции, первым шагом в анализе текста является поиск тем, к которым он относится. Мы могли бы определить тему как набор слов, выражающих семантическую тему текста. С математической точки зрения, тема — это распределение вероятностей по словам. Например. тема «автомобиль» должна присваивать высокие вероятности таким словам, как «двигатель», «руль», «дизель» и «рулевое управление».

Используя тематические модели, такие как скрытое распределение Дирихле (LDA), можно эффективно определять темы в больших текстовых наборах данных. Эти темы могут быть очень важны как для субъективности, так и для эмоциональной напряженности текста. Очевидно, что разговоры о семье и друзьях должны вызывать другие эмоции, чем разговоры о недавнем футбольном матче. В социальных сетях только тема рассказа может дать надежные указания на эмоциональные переживания автора.

Идея встраивания слов (например, кластеризация Браунаили популярный алгоритм word2vec) состоит в том, чтобы найти более математическое представление слов, встраивая их в многомерное векторное пространство. При таком математическом представлении можно измерить сходство двух слов или даже целых документов как расстояние между их векторами представлений. Таким образом, машины могут глубоко понимать значение слов, просто обрабатывая большие объемы текста.

С развитием рекуррентных нейронных сетей (RNN) машины также могут понимать временную структуру данных. Например. RNN могут находить корреляции между последовательными кадрами в видео и, следовательно, отслеживать движение. Точно так же их можно использовать для извлечения временной (точнее, синтаксической) структуры предложения или текста. Читая предложение слово за словом, RNN могут обнаружить синтаксические тонкости, которые намекают на основные эмоции автора.

Поле Тегирование частей речи (POS) — еще один очень полезный инструмент машинного обучения для понимания синтаксической информации текста. Алгоритмы POS, обученные на помеченных наборах данных, таких как набор данных Penn Treebank, могут определять грамматическую функцию (например, местоимение, подлежащее, глагол, прилагательное и т. д.) каждого слова в тексте.

При применении всех этих методов машинного обучения в контексте анализа эмоций реальная проблема заключается в их эффективном объединении и точной настройке сложного взаимодействия между переменными. Тем не менее, используя современные алгоритмы машинного обучения, можно разработать более сложные модели машинного обучения, способные отразить сложность скрытых эмоций в тексте.

LDA, встраивание слов и RNN не требуют дополнительных входных данных для анализируемого текста и, следовательно, являются неконтролируемыми алгоритмами. Это позволяет нам применять нашу модель эмоций к огромному количеству текстовых данных, таких как миллионы твитов, корпус английской Википедии или новостные статьи в Интернете, и, таким образом, в конечном итоге достичь лучшего понимания языка и эмоций.

Благодаря полуконтролируемому подходу Gyana мы используем передовые методы машинного обучения и знания людей об эмоциях, чтобы не только быть первопроходцами в области анализа эмоций, но и достигать рыночного уровня точности с помощью наших алгоритмов.

Вывод

В этом техническом документе мы определили текущие проблемы в области анализа эмоций: разработка последовательной математической модели эмоций и решение сложных языковых проблем. Кроме того, мы кратко представили методы машинного обучения (Скрытое распределение Дирихле, встраивание слов, тегирование частей речи и Рекуррентные нейронные сети), которые можно применять для их решения.

Аналитика эмоций позволяет проводить гораздо более подробный анализ населения социальных сетей, чем традиционная методология анализа настроений. Модель машинного обучения Gyana обеспечивает такое тонкое понимание, которое в конечном итоге приводит к лучшему пониманию клиентов и повышению ценности для бизнеса.