Краткое введение в известную задачу обработки естественного языка «Анализ тональности»
Анализ настроений, также называемый интеллектуальным анализом мнений, - это область исследования, в которой анализируются мнения, настроения, оценки, оценки, отношения и эмоции людей по отношению к таким объектам, как продукты, услуги, организации, отдельные лица, проблемы, события. , темы и их атрибуты. Также существует много названий и немного разных задач, например, анализ настроений, анализ мнений, извлечение мнений, анализ настроений, анализ субъективности, анализ эмоций, анализ обзоров и т. Д. , теперь все они находятся под эгидой анализа настроений или анализа мнений.
Хотя лингвистика и обработка естественного языка (НЛП) имеют долгую историю, до 2000 года было проведено мало исследований мнений и настроений людей. С тех пор эта область стала очень активной областью исследований.
На это есть несколько причин.
Во-первых, он имеет широкий спектр приложений почти во всех доменах. Индустрия анализа настроений также процветала благодаря распространению коммерческих приложений. Это дает сильную мотивацию для исследований.
Во-вторых, он предлагает множество сложных исследовательских задач, которые раньше никогда не изучались.
В-третьих, что касается анализа настроений и анализа мнений, впервые в истории человечества у нас теперь есть огромный объем самоуверенных данных в социальных сетях в Интернете через Tweeter, Quora, обзоры продуктов. Без этих данных было бы невозможно провести множество исследований. Неудивительно, что зарождение и быстрый рост анализа настроений совпадают с таковыми в социальных сетях. Анализ настроений сейчас находится в центре исследований социальных сетей.
Приложения анализа настроений
Раньше, когда человеку требовалось мнение, он / она спрашивал друзей и семью. Но теперь, если вы хотите что-то купить, просто зайдите на сайт электронной коммерции, такой как Amazon или Flipkart, прочтите отзывы и проверьте рейтинг продукта.
Когда организации или бизнесу требовалось общественное мнение или мнение потребителей, они проводили опросы, опросы общественного мнения и фокус-группы. Получение общественного мнения и мнения потребителей долгое время было огромным бизнесом для компаний, занимающихся маркетингом, связями с общественностью и политическими кампаниями. Для организации, возможно, больше нет необходимости проводить опросы, опросы общественного мнения и фокус-группы для сбора общественного мнения, потому что такой информации много и она общедоступна. Однако поиск и мониторинг сайтов, представляющих мнения в Интернете, и извлечение информации, содержащейся в них, остается сложной задачей из-за большого количества разнообразных сайтов. Таким образом, возникла необходимость собирать и изучать мнения в Интернете. Конечно, самоуверенные документы существуют не только в Интернете (так называемые внешние данные), многие организации также имеют свои внутренние данные, например, отзывы клиентов, собранные из электронных писем и центров обработки вызовов, или результаты опросов, проведенных организациями. Благодаря этим приложениям в последние годы процветает промышленная деятельность. Приложения для анализа настроений распространились практически на все возможные области, от потребительских товаров, услуг, здравоохранения и финансовых услуг до общественных мероприятий и политических выборов.
Анализ настроений
Теперь я дам краткое введение в основные проблемы исследования, основанные на уровне детализации существующих исследований. В целом анализ настроений исследовался в основном на трех уровнях:
- Анализ настроений на уровне документа
Эта задача очень полезна, когда мотивация - получить тональность всего документа. Например, на Flipkart есть Phone X и на него есть ~ 1000 отзывов. мы воспринимаем все отзывы как один документ. Во всех обзорах мы найдем мнение, которое покажет отношение людей к телефону. Значит, телефон X хороший или плохой. Этот уровень анализа предполагает, что каждый документ выражает мнение о единой сущности.
Этот тип анализа не применим, если документ содержит несколько сущностей.
2. Анализ тональности предложения
Задача на этом уровне переходит к предложениям и определяет, выражает ли каждое предложение положительное, отрицательное или нейтральное мнение. Нейтральный обычно означает отсутствие мнения. Этот уровень анализа тесно связан с классификацией субъективности, которая отличает предложения (называемые объективными предложениями), которые выражают фактическую информацию, от предложений (называемых субъективными предложениями), которые выражают субъективные взгляды и мнения. например, «Я купил AZ в прошлом месяце, и микрофон в этом телефоне перестал работать, очень плохое качество сборки». В этом обзоре тональность предложения отрицательная. Но если интересно, что на самом деле плохого в этом телефоне. означает камеру, аккумулятор или экран, тогда нам нужно перейти на уровень сущности.
Вы можете начать с TextBlob - сборки библиотеки Python для обработки текста. Он построен на основе NLTK и более удобен для новичков, чем NLTK, с множеством наиболее часто используемых функций в обработке естественного языка.
Https://textblob.readthedocs.io/en/dev/quickstart.html#sentiment-analysis
3. Анализ настроений на уровне организаций
Анализ как на уровне документа, так и на уровне предложения не позволяет выявить, что именно людям понравилось, а что не понравилось. На уровне аспектов выполняется более детальный анализ. Вместо того, чтобы смотреть на языковые конструкции (документы, абзацы, предложения, предложения или фразы), аспектный уровень напрямую смотрит на само мнение. Он основан на идее, что мнение состоит из настроения (положительного или отрицательного) и цели (мнения). Понимание важности целей общественного мнения также помогает нам лучше понять проблему анализа настроений. Например, хотя предложение «хотя обслуживание и не такое уж хорошее, я все еще люблю этот ресторан» явно имеет положительный тон, мы не можем сказать, что это предложение полностью положительное. Предложение положительно о ресторане (подчеркнуто), но отрицательно о его обслуживании (не выделено). Во многих приложениях цели мнения описываются сущностями и / или их различными аспектами. Таким образом, цель этого уровня анализа - выявить мнения о сущностях и / или их аспектах. Например, фраза «Качество связи Eyephone хорошее, но время автономной работы мало» оценивает два аспекта: качество связи и аккумулятор. Итак, в этом анализе мы углубляемся до уровня семестра. На сегодняшний день это самый глубокий анализ тональности текста.
Если вы хотите узнать больше об анализе настроений на уровне сущностей, вот подробный блог Нитеша Трипати.
Для более глубокого погружения можно найти докторскую диссертацию Иоанниса (Иоанна) Павлопулоса.
Http://nlp.cs.aueb.gr/theses/ipavlopoulos-thesis.pdf
Надеюсь, вам понравилось это чтение.
Удачного обучения… ..
