Сакши Ранджан, доктор Субханкар Мишра.
Примечание. Рукопись исследования (названная «manuscript.pdf») и коды размещены на - «https://github.com/smlab- niser / Google-Reviews-Sentiment-Analysis '
Мы живем в эпоху, когда технологии и Интернет изменили социальные нормы. Нельзя отрицать, что мобильные приложения полностью изменили все аспекты нашей жизни. Он предоставляет информацию, относящуюся к продуктам, услугам, организациям, личным проблемам, событиям, удовлетворенности или неудовлетворенности новыми функциями или важной для бизнеса информацией. Путешествуем ли мы, общаемся, смотрим фильм, заказываем продукты, выполняем банковские транзакции, есть приложение для всего, как и обзор.
Обработка естественного языка (NLP), модное слово в недавних исследованиях, добывает техническую информацию из обзоров. Это одно из самых популярных приложений искусственного интеллекта (ИИ). Это исследование объединило огромный репозиторий обзоров и оценок (то есть мгновенно доступных в Интернете) со сбором данных в реальном времени и тем самым предоставил другим пользователям беспрецедентную платформу для загрузки и покупки приложений.
Мотивация для исследования
· Много лет назад смартфоны были редкостью, поэтому во всем мире было меньше взаимодействий. Новые приложения выпускаются каждый день с доступной технической и многогранной информацией, упорядоченной с учетом последних обзоров, оценок и стратегии загрузки.
· Интернет, мобильные технологии и сетевая инфраструктура привели к появлению и взрывному росту магазинов Google Play и приложений Apple Store. Люди пишут и публикуют свои обзоры и рейтинги со всего мира на основе приложений на их устройствах, степени удовлетворенности и симпатий.
· Следовательно, существует потребность в инструменте, способном анализировать отзывы. С этой целью, используя анализ настроений и механизируя этот процесс, мы можем оценить, как пользователи относятся к приложениям, без необходимости читать тысячи комментариев пользователей одновременно.
· Просто изучив рейтинги данного приложения, невозможно понять мышление человека, потому что рейтинги не дают ощутимой статистики. Поэтому изучение и анализ обзоров в реальном времени также является необходимостью.
Проблемы с магазином приложений
· Обилие обзоров требует дополнительных усилий и требует больше времени на вычисления вручную. Одним из узких мест является проблема информационной перегрузки, шумный характер обзоров, а его неструктурированный характер затрудняет синтаксический анализ и анализ.
· Качество обзоров сильно варьируется от важных и новаторских советов до оскорбительных комментариев.
· Фильтрация отрицательных и положительных комментариев в обзорах и извлечение из них отзывов иногда непросто.
· Не всегда возможно разработать рациональный набор лингвистических критериев для извлечения мнений из характеризуемых языков, используемых в диалектном континууме.
Анализ настроений помогает выяснить мнения, настроения, поведение, эмоции, оценки и отношение людей к продуктам или услугам, проблемам или событиям, темам. Есть три типа мнений людей: положительное, отрицательное и нейтральное, которые определяют все знания в данной области. Это неотъемлемая часть NLP, позволяющая анализировать текст и извлекать информацию. Модель, полученная в результате этого исследования, устанавливает новое современное состояние, позволяющее сосредоточить внимание только на группе студентов университетов и сканировать их отзывы о приложениях игрового магазина, которые они используют, и использовать НЛП для самоанализа связанных с ними настроений. При анализе настроений используются методы, основанные на машинном обучении, а также методы, основанные на лексике. Цель анализа настроений с помощью подхода машинного обучения касается помеченных данных и помогает создать модель с использованием алгоритмов контролируемого обучения, а именно наивного байеса (NB), машины опорных векторов (SVM) и K-ближайшего соседа (KNN). Парадигма глубокого обучения, междисциплинарный алгоритм машинного обучения, основанный на тонко настроенных слоях, превзошла основные алгоритмы классификации, дала плодотворные результаты в распознавании речи, компьютерном зрении и анализе настроений и привлекла исследователей.
Наборы данных
• Набор тренировочных данных, обзоры приложений Google. В наборе данных было 9659 приложений, 33 категории, 115 жанров, открыто доступных, включая приложение, категорию, рейтинг, обзоры, размер, установки, тип (бесплатные / платные), цену (приложение), рейтинг контента (все / подростки / взрослые). ), жанры (подробная категория), последнее обновление.
• Набор тестовых данных, Обзоры приложений для студентов (SAR). Мы собрали 400 отзывов, 6 полей от студентов Уткальского университета посредством местного опроса по кафедрам. Показана корреляция между SAR и обзорами приложений Google посредством исследовательского анализа и визуализации полярности настроений, субъективности и других характеристик, таких как цена, установки, тип, размер, категория, рейтинги. Опрос проводился на онлайн-платформе через форму Google. Один студент одного факультета мог указать максимум семь часто используемых приложений на своем устройстве. Они давали свои отзывы на английском языке. Опрос был полностью добровольным по своей природе, и никаких стимулов для его проведения не предлагалось.
Исследования
• Вопросы исследования (RQ) были разработаны и оценены в корпусе посредством визуализации с использованием диаграмм.
• Использование нескольких алгоритмов машинного обучения (NB, LR, KNN, RF, SVM) и глубокого обучения (RNN, LSTM, CNN) и сравнение их показателей производительности для анализа настроений в наборе данных обзоров Google.
• Схема текстового представления TP (Term Presence), TF (Term Frequency) и TF-IDF (Term Frequency Inverse Document Frequency) была реализована на основе одно-, двух- и трехграммной стратегии.
• Метод ансамблевого обучения (бэггинг) использовался с алгоритмом классификации.
• Встраивание слов, GloVe использовалось в моделях глубокого обучения, и его производительность была отмечена.
• Сделаны графические выводы.
Согласно нашему исследованию, существует очень ограниченное количество работ, основанных на прогностической эффективности алгоритмов с использованием обзоров приложений Google в сочетании с отзывами студентов университетов о приложениях Google. Судя по всему, нет прошлых отчетов о НЛП в анализе настроений пользователей в отношении приложений Google в сочетании с SAR. И, насколько нам известно, комбинация методов, использованных в нашем исследовании, немного уникальна. Последняя тенденция, наблюдаемая в нашей работе, заключается в том, что она не делает упор на метод векторизатора подсчета для разделения набора данных, а скорее агрегирует новый набор данных университета. Мы включили анализ данных вместе с моделированием. Более того, на вопросы фундаментального исследования в контексте обзоров приложений Google и SAR были даны ответы с помощью диаграмм.
Методология:
· Сбор данных (в реальном времени)
· Предварительная обработка (удаление отсутствующих данных, знаков препинания, тегов, специальных символов, URL-адресов, эмодзи, удаление значений NA, удаление цифр, фильтрация стоп-слов. Токенизация, удаление шума, стемминг, лемматизация)
· Применяйте схемы представления текста (TP, TF, TF-IDF на юниграмме, биграмме, триграмме) в алгоритмах классификации и применяйте бэггинг
· Применяйте GloVe к моделям глубокого обучения
· Используйте набор данных студентов университета для проверки модели и статистической достоверности
Эксперименты
Эмпирический анализ был выполнен на Python с использованием Jupyter Notebook и Google Colabs. Модель обучалась по обзорам Google и тестировалась по SAR. Охвачены три аспекта:
· Визуализации корпуса
· Оценка прогностической эффективности корпуса на основе алгоритмов машинного обучения и глубокого обучения
Результаты
1. Визуализация - RQ были сформулированы и исследованы, чтобы понять корреляцию между характеристиками рынка приложений, в частности ценой, популярностью, размером, категориями, жанрами и рейтингами приложений, с помощью статистических данных. Исследовательский анализ был начат на обзорах приложений Google и сравнен с SAR с помощью визуализаций.
Некоторые RQ были -
Получат ли платные и бесплатные приложения такие же рейтинги и популярность у студентов, как и у обучающего набора данных?
Среди студентов преобладают приложения небольшого размера (0–60 Мб) и бесплатные приложения (81,7%). Это повышает рейтинги. Средний рейтинг оказался 4–5. Напротив, более крупные платные приложения имеют меньше всего оценок и менее предпочтительны.
Какова корреляция между ценой, рейтингом, популярностью среди студентов университета по сравнению с набором данных по обучению?
Установки и отзывы положительно коррелируют среди студентов. Между установками и ценами существует отрицательная корреляция.
Как размер приложений влияет на количество установок среди учащихся по сравнению с обучающим набором данных?
Студенты предпочитают бесплатные приложения, а не платные, и средний рейтинг от 3,5 до 5, общий график сильно сгруппирован, где цена приложений равна 0.
2. Алгоритмы машинного обучения - SVM зарекомендовала себя лучше всего для нашего корпуса и достигла наивысшей точности и значения F. SVM на биграммной модели + TF-IDF получил точность 93,41%, а TF-IDF на биграммовой и трехграммной модели получил оценку F 0,89. NB показал худшие результаты по нашему корпусу и не подошел для нашего исследования. Достигнута наименьшая точность 78,56% и оценка F 0,60. Второй лучший алгоритм нашего исследования - это KNN, который догоняет SVM. TF на биграмме показал наивысшую точность 91,5%, а показатель F 0,85 был постоянным на всем протяжении. LR и RF показали средние результаты по нашему корпусу с точки зрения F-балла и точности. LR на униграмме и схеме TF привел к точности 84,99%, F-балл 0,70. RF на двухграммах + TP показала наивысшую точность 85,47%, F-балл 0,68 на однограммовых моделях для всех схем TP, TF, TF-IDF. Бэггинг был применен к LR и NB, и мы получили приемлемые результаты, показывающие повышение точности и F-балла.
3. Алгоритмы глубокого обучения. - Размер вектора, использованный в нашем эксперименте, составлял 200, а размер слоя проекции - 100. Чтобы инкапсулировать ключевые результаты алгоритмов глубокого обучения на GloVe, а именно LSTM, RNN и CNN, в корпусе обзоров приложений Google и протестированы на SAR, мы провели эксперименты в 10 эпох в заданных размерах партии. LSTM с GloVe достиг наивысшей точности 95,2% и F-score 0,88. CNN и RNN с GloVe показали средние результаты со значением точности, близким к 93%. С точки зрения F-score, CNN с Glove оказались худшими для нашего корпуса, достигнув 0,78.
Статистика и выводы
• На основе графического анализа мы ответили на 10 RQ, основанных на взглядах студентов университетов на рынок приложений по сравнению с набором данных по обучению. Таким образом, мы могли легко проанализировать процент студентов со схожим мировоззрением, их склонностями и симпатиями, а также разнообразными знаниями о рынке приложений.
• Лучший алгоритм LSTM + GloVe показал максимальную точность 95,2% и оценку F 0,88. Этот алгоритм также можно протестировать для встраивания других слов, а именно FastText и Word2vec на основе того же набора данных.
• Методы анализа текста и машинного обучения могут помочь администрации учебных заведений получать обратную связь о рынке приложений, используемом студентами университетов. Это может дать некоторое представление о ценных приложениях, которые можно сделать общедоступными для всех студентов, если они платные или важны для студентов для электронного обучения.
• Представленный подход интеллектуального анализа текста для анализа настроений студентов университетов, просмотренных с помощью опроса, также может быть инициирован на веб-сайте, где студенты нескольких университетов в одном городе могут делиться своими мнениями на общей платформе, основанной на обычно используемых или уникальных Программы. Оценка обзоров электронного обучения, выявление эмоций учащихся на основе текстовой обратной связи в анализе настроений в реальном времени может быть интегрирована с фреймворком на основе глубокого обучения.
• При эмпирическом анализе были рассмотрены традиционные схемы представления текста, методы ансамбля, парадигмы машинного обучения и подход глубокого обучения. Методы ансамблевого обучения обеспечивают более высокую эффективность прогнозирования по сравнению с традиционными алгоритмами классификации. Из нашего исследования делается кристально ясный вывод, что модель глубокого обучения превзошла классификаторы машинного обучения.
Несмотря на положительные результаты, некоторые проблемы исследования:
• Сбор отзывов студентов университета был действительно утомительным и трудоемким.
• Опрос был локализован только для конкретного университета, и мы не получили 100% -ное участие студентов университета.
• Учащиеся использовали аббревиатуры, краткую форму или язык SMS, сленговые слова, орфографические ошибки и смайлики.
• Некоторые студенты неохотно участвовали, давали ложные мнения или бесценные обзоры и, следовательно, также создавали неточности.
Возможности на будущее
• Эмпирический анализ алгоритмов классификации на TP, TF и TF-IDF + униграмма, биграмма и триграмма, соответственно, на других методах ансамбля, таких как случайное подпространство и бустинг
• Использование word2vec и FastText на моделях глубокого обучения, GRU, RNN-AM
• Расширьте наш набор данных, расширив онлайн-опрос в других университетах города, принимая во внимание студентов университетов, испытывающих нехватку ресурсов.
• Использование теста ANOVA.
• Изучение отзывов студентов университета в многоязычной области и на другом языке с ограниченными ресурсами.
