SoundFlux стал победителем весенней премии Hal R. Varian MIDS Capstone Award 2019 года.
Простые системы оповещения с помощью кнопок, которые пожилые люди могут использовать при падении, широко распространены, и многие используют эти ожерелья и системы оповещения. Команда учащихся I школы обнаружила, что это решение устарело по сравнению с техническими инновациями в других областях. Они решили найти решение.
В результате выпускники магистра информатики и науки о данных Ромуло (Ром) Манзано, Мэтт Тилен и Майк Фраззини разработали SoundFlux, который использует звуковую систему для обнаружения падений.
Расскажите нам, что такое SoundFlux.
Майк: SoundFlux — это звуковая система обнаружения падений, в которой используется модель нейронной сети, обученная на имитации падения человека, а также миллионы звуков из открытых источников, чтобы обеспечить эффективную, недорогую, ненавязчивую и конфиденциальную работу. чуткое спокойствие для пожилых людей и их близких.
Что вдохновило вас на ваш проект?
Ром: Идея пришла мне в голову во время визита к моей двоюродной бабушке Лоле в Испанию в прошлом году. Ей за 90, и, хотя у нее есть отличная система поддержки, семья держит дома несколько гаджетов системы медицинского оповещения на случай чрезвычайной ситуации. Во время моего визита я не мог не заметить, как сильно мы полагаемся на устаревшие технологии обнаружения падений. В случае с моей двоюродной бабушкой у нее есть кулон с большой красной пуговицей, которую она должна использовать, если упадет! Это было для меня шоком, так как это, очевидно, не сработало, когда это было необходимо больше всего (например, если она осталась без сознания в результате падения). Именно тогда я понял, как мало инноваций произошло в космосе, и что нет причин, по которым мы не можем найти лучшие решения в наши дни. Изучив пространство, я обнаружил, что единственные реальные альтернативы были очень навязчивыми: они требовали либо носимых устройств, либо дорогостоящих аппаратных установок (видеооборудование высокой четкости и т. д.). Я подумал, что, возможно, есть способ добиться сравнимых результатов, используя более дешевое оборудование ненавязчивым способом. Я подумал об основах и представил, как я могу сказать, если кто-то упал, не глядя на него, и было ясно, что одним из самых очевидных сигналов будет звук! Вот когда все это началось, все остальное пришло, когда я более глубоко обдумывал потенциальное решение.
Майк: Хотя первоначальная идея и видение проекта принадлежали Рому, я был вдохновлен тремя важными причинами: потребностью в чем-то подобном, моим личным опытом и нашим уникальным вызовом и способностью использовать науку о данных для удовлетворения потребности. Чтобы уточнить, необходимость была очень настоятельной, поскольку падения являются основной причиной травм и смерти среди пожилых людей, и страх падения затрагивает эту уязвимую группу населения и близких, которые заботятся о них и беспокоятся о них. Многие из существующих доступных решений являются навязчивыми, громоздкими и жертвуют независимостью и конфиденциальностью. У меня есть непосредственный личный опыт в этом, так как моя 90-летняя бабушка упала, и ей пришлось тащиться из своей спальни на кухню, чтобы добраться до своего телефона и вызвать помощь — если бы у нее был SoundFlux, она могла бы получить помощь очень быстро, что было бы спасли ее от почти часовой боли и сильного беспокойства, а также серьезных осложнений, препятствовавших ее выздоровлению. Задача предоставления решения для обнаружения падений, основанного на науке о данных, — такого, которое могло бы быть недорогим, ненавязчивым и чувствительным к конфиденциальности, — была самой захватывающей задачей программы MIDS среди многих других.
Задача предоставления решения для обнаружения падений, основанного на науке о данных, — решения, которое могло бы быть недорогим, ненавязчивым и чувствительным к конфиденциальности, — была самой захватывающей задачей программы MIDS.
Какова была временная шкала или процесс от концепции до финального проекта?
Майк: Несмотря на то, что у нас было почти полных 15 недель семестра, благодаря нашим преподавателям, позволившим нам сразу же представить и выбрать проекты, за это время было еще так много дел. Наша самая большая проблема заключалась в том, что нам нужны были звуковые данные о человеческих падениях, и мы не смогли найти ничего полезного в открытом доступе, поэтому нам пришлось создать свои собственные, а затем дополнить их трансферным обучением на моделях, обученных на звуковых файлах, доступных в открытом доступе. всеобщее достояние. Сначала нам пришлось провести довольно много исследований о способах решения проблемы, о том, что является современным, а также о необходимом оборудовании. Затем мы построили и развернули прототипы оборудования для записи звуковых данных. Критической зависимостью были данные, и мы провели первые шесть недель, моделируя и записывая сотни падений людей, используя манекен CPR весом 165 фунтов, похожий на человека, с шарнирными соединениями и распределением веса человека (см. Рисунок ниже). Мы шутили, что «Спасатель Рэнди» был самым важным членом нашей команды, но он был таким болваном!
Как только мы начали собирать звуковые данные о смоделированных падениях человека, мы смогли провести оставшиеся недели, изучая различные подходы к классификации звуков и разрабатывая нашу модель. Последние недели были потрачены на точную настройку и проверку нашей модели как с помощью тестовых наборов данных, так и с помощью моделирования в реальной жизни с нашей моделью, развернутой на нашем прототипе оборудования. Мы также разработали, отработали и доработали наши презентационные материалы и презентацию за последние шесть недель завершающего курса.
Как вы работали в команде? Как вам удалось поработать над своим проектом в качестве участника онлайн-программы?
Майк: В целом мы работали очень хорошо как команда, несмотря на то, что все мы живем в разных частях страны и в трех разных часовых поясах.
Ром: Хотя мы все были в разных часовых поясах, мы очень хорошо адаптировались к расписанию каждого. Коммуникация была ключевым моментом, поэтому мы придерживались того, что считали передовым опытом. Мы постоянно публиковали обновления на нашем внутреннем канале в Slack (почти ежедневно) и встречались минимум раз в неделю, обычно по выходным. У нас была собственная внутренняя вики, где мы размещали все, что имело отношение к проекту, от инструкций по настройке оборудования до ссылок на соответствующие исследовательские материалы и т. д. Наконец, мы поделились всем нашим кодом через частный репозиторий на GitHub. и постоянно нажимал обновления. Это позволило нам разделить усилия и работать по собственному графику, держа всех в курсе событий и своевременно поднимая вопросы.
Как ваша учебная программа I School помогла вам подготовиться к этому проекту?
Майк: я бы сказал, что почти все курсы, все командные проекты на многих курсах и общепрограммный акцент на общении были необходимы для подготовки нас к успешному выполнению такого большого задания. проект.
Ром: Весь учебный план помог мне развить необходимые навыки для нашего проекта Capstone. Я особенно применил многие концепции, изученные в W251 (глубокое обучение), особенно при развертывании нашей модели ИИ на периферии.
Есть ли у проекта планы на будущее?
Майк: Да! Мы считаем, что существует реальная потребность, и у нас есть зачатки отличного решения. Мы стремимся уточнить целевой клиент и удобство использования продукта в наше «свободное время» в ближайшие месяцы, а затем будем рассматривать все, от финансирования и вариантов партнерства до открытия нашего проекта.
Ром: Мы искренне верим, что наша технология способна спасать жизни, и хотели бы, чтобы она применялась повсеместно. Я думаю об этом так: если мне неудобно развернуть его в доме моей двоюродной бабушки, значит, нужно проделать еще много работы!
Как этот проект может оказать влияние или кому он будет служить?
Майк: миллионы пожилых людей и их близких по всему миру, которые хотят стареть в своих домах с меньшим беспокойством и комфортом, чтобы в случае падения они могли получить немедленную помощь.
Ром: Буквально миллионы пожилых людей и их родственников, в том числе 9 миллионов человек, которые ежегодно обращаются в отделения неотложной помощи из-за травм, связанных с падением!
