Обзор проблемы
Тревога и депрессия значительно возросли после Covid-19, и проблема с нашим нынешним способом лечения депрессии заключается в том, что люди начинают осознавать, что у них депрессия, только когда уже слишком поздно. Самый распространенный вариант — обратиться к специалисту по психическому здоровью, но депрессия — это не то, что приходит и уходит за один день, и никто не может гарантировать, что от нее избавятся. Большинство работающего населения в нашей стране, Индии, несчастно, что привело к резкому росту числа самоубийств. Согласно опросу Economic Times, каждый пятый индийский работник страдает от беспокойства на рабочем месте, что медицинские специалисты объясняют отсутствием сети поддержки как на работе, так и дома. Согласно другому опросу индийских сотрудников, проведенному HR-компанией Hush, 22% респондентов заявили, что их производительность была низкой из-за перегрузки и стресса на работе, а более половины респондентов заявили, что страдают от страха на рабочем месте.
Представляем приложение Depression Detect…
Depression Detector — это фляжное веб-приложение, которое использует акустические и лицевые ориентиры в качестве входных данных для поиска любых признаков или ранних симптомов депрессии с использованием алгоритмов глубокого обучения и машинного обучения. Эти входные данные анализируются путем извлечения признаков, а затем классифицируются в соответствии с акустикой и чертами лица. Сами библиотеки, такие как Librosa, OpenCV и другие, написаны на Python и будут использоваться в этом проекте. Это приложение использует предсказание в реальном времени для отображения результатов в режиме реального времени. Цель этого пользовательского интерфейса — сделать все модели распознавания эмоций более доступными для пользователей в удобной и простой в использовании форме, позволяя пользователям получать настраиваемую оценку своих эмоций и личностных качеств в режиме реального времени на основе анализа. фрагмента видео или аудио, отправленного непосредственно через фреймворк.
Целевые пользователи
Лица, страдающие психическими расстройствами, такими как бессонница или тревожность, а также пожилые люди, имеющие напряженный рабочий график или учащиеся, являются потенциальными клиентами, которые могут использовать это программное обеспечение для обнаружения депрессии, чтобы исследовать себя и принять соответствующие меры для решения проблемы. проблемы в их жизни, которые вызывают все эти психические проблемы и проблемы со здоровьем, потому что психическое здоровье имеет решающее значение для прогресса страны. Этот проект может также помочь рекрутинговым группам компаний-разработчиков программного обеспечения оценить надежность кандидата во время собеседования на основе его или ее выражения лица. Веб-программное обеспечение, которое действует как видео- и аудио-симулятор, принимая видео- и аудиовход человека, у которого проводится собеседование на должность, которую ищет компания. Мы можем получить обратную связь о том, как наша система интерпретирует чувства и сравнивает их с чувствами других кандидатов, использующих это понятие. Это поможет фирмам нанимать людей, которые действительно вовлечены или имеют большой потенциал, чтобы внести свой вклад в успех компании.
Ключевые партнеры
Специалисты в области психического здоровья и студенты-психологи, которые хотят в будущем стать специалистами в области психического здоровья, являются одними из основных партнеров приложения. В результате мы можем добавить функцию, которая позволит нам предложить несколько врачей и терапевтов из различных профессий в области психического здоровья и попросить их сотрудничать с нами через приложение для обнаружения депрессии. Эти поставщики будут рекомендованы нашим потребителям в этой области в зависимости от их проблем со здоровьем. Поощряйте студентов, изучающих психическое здоровье и психологию, связаться с нами после завершения учебы и предложить свой профиль, который мы предложим нашим пользователям в зависимости от проблем со здоровьем, с которыми они сталкиваются, и можем обсудить с ними.
Разработка приложений
Для обучения мы использовали алгоритмы SVM и CNN и создали веб-приложение с использованием flask, фреймворка Python. База данных RAVDESS использовалась для наборов аудиоданных, которые включают 7 356 аудиофайлов с двадцатью четырьмя голосами-кандидатами на произнесение в нейтральном североамериканском тоне. Спокойствие, радость, грусть, ярость, страх, удивление и презрение могут быть обнаружены в устной речи, тогда как мирное, радостное, депрессивное, взволнованное и пугающее настроения могут быть найдены в гармонии. У каждой эмоции есть два разных уровня интенсивности (обычный и интенсивный), а также беспристрастная эмоция.
FER2013.csv использовался для довольно популярных наборов видеоданных, которые представляют собой базу данных Kaggle Challenge размером 48 X 48 кадров. заполняет примерно одинаковое количество областей для каждого изображения, но данные по-прежнему трудно использовать, потому что есть пустые изображения и изображения, которые были неправильно классифицированы.
Источники данных
Аудио: https://zenodo.org/record/1188976#.XCx-tc9KhQI
Модель
Рабочий процесс для анализа голосовых эмоций был построен таким образом, что исходный голос был захвачен, и была выполнена дискретизация. Прогноз был сделан с использованием предварительно обученной модели, а функции спектрограммы log mel были извлечены и разделены с использованием скользящего окна. Использовалась модель временного распределения cnn, основная концепция которой заключается в использовании сдвига окна на всем протяжении спектрограммы функции log mel. Все окно будет точкой входа для модели cnn, состоящей из четырех обучающих блоков локальных признаков, при этом выходные данные каждого из этих cnn подаются в rnn, состоящую из двух ячеек, для изучения длинных контекстно-зависимых корреляций. Наконец, для прогнозирования настроения, воспринимаемого голосом, также будет использоваться слой fc вместе с активацией softmax.
Теперь для анализа мимики поток был разработан таким образом, что лицо сначала было захвачено с помощью веб-камеры, а затем использовалась гистограмма ориентированных признаков для идентификации лица, а затем лицо было увеличено и изменено до 48 * 48. пиксельный кадр, после чего лицо предсказывалось с помощью предварительно обученной модели. Была использована модель XCeption, которая представляет собой глубокую многоуровневую модель cnn 71, точно настроенную с использованием увеличения данных.
Заключение
Конечным продуктом является веб-приложение с интуитивно понятным пользовательским интерфейсом. Здесь мы можем просто записывать свое лицо или слова и проверять, в порядке ли наше психическое здоровье, определяя наиболее распространенные эмоции в режиме реального времени.
Мы постараемся включить текстовый анализ эмоций позже в проект, чтобы повысить точность анализа эмоций. Мы также постараемся включить функцию оплаты и регистрации для клиентов, а также инструмент для предложения нескольких врачей и терапевтов из различных областей психического здоровья и предложения им сотрудничать с нами через приложение. Эти врачи будут рекомендованы нашим потребителям в этой области в зависимости от их проблем со здоровьем. Поощряйте студентов, изучающих психическое здоровье и психологию, связываться с нами после завершения обучения и предоставления своего профиля, который мы будем предлагать нашим пользователям в зависимости от проблем со здоровьем, которые они испытывают, и обсуждать с ними. Это также беспроигрышная ситуация для нас обоих, поскольку мы получим свой бизнес, а студенты, заинтересованные в том, чтобы стать терапевтами, также получат возможность больше узнать о настроении и человеческом поведении.
Ссылка на GitHub
