WildTrackAI стал лауреатом премии Hal R. Varian MIDS Capstone Award летом 2020 года.

Виды вымирают со скоростью почти в 10 000 раз превышающей историческую. Изменение климата, развитие и незаконное браконьерство являются одними из основных факторов, негативно влияющих на наши природные ресурсы, усиливая конфликты между людьми и дикими животными и способствуя общей утрате биоразнообразия.

Улучшение мониторинга поведения диких животных может сделать нас более подготовленными для защиты исчезающих видов, сокращения утраты биоразнообразия и внесения вклада в устойчивое сосуществование людей и диких животных. С этой целью студенты MIDS Джонатан Д'Суза, Жак Макутонин, Дэн Прайс, Майкл Рейтер создали WildTrackAI, инструмент, использующий технологию компьютерного зрения для повышения скорости и точности изображения следов животных. классификация.

Расскажите нам о WildTrackAI.

Майкл: При разработке этого проекта мы сотрудничали с WildTrack, некоммерческой организацией, занимающейся защитой исчезающих видов. WildTrack применяет неинвазивные методы мониторинга дикой природы, основанные на знаниях коренных народов, для отслеживания исчезающих видов по следам. В этом контексте WildTrackAI применяет передовые технологии компьютерного зрения для улучшения существующих методов отслеживания диких животных с точки зрения скорости и точности классификации изображений следов, предоставляя интегрированное комплексное решение для отслеживания следов.

Что вдохновило вас на ваш проект?

Дэн: WildTrackAI — это расширение работы, разработанное организацией WildTrack. WildTrack добился заметных успехов в разработке метода идентификации следов (FIT) для идентификации отдельных животных по изображениям следов с высокой степенью точности, но этот процесс занимает много времени и требует экспертных знаний для реализации. Была установлена ​​связь между I School и организацией WildTrack, чтобы узнать, может ли глубокое обучение помочь улучшить и ускорить их текущие возможности, а также расширить их потенциальную базу пользователей.

Джонатан: 1) Новизна поставленной задачи — насколько нам известно, никто не применял методы машинного обучения для определения видов и особей по изображениям следов; и 2) Миссия — зная, что мы вносим свой вклад в глобальную инициативу по сохранению дикой природы и сокращению утраты биоразнообразия.

Какова была временная шкала или процесс от концепции до финального проекта?

Майкл: Мы начали сотрудничать с WildTrack на предыдущем курсе (Наука о данных W251: глубокое обучение в облаке и на периферии), разработав первоначальное доказательство концепции, чтобы проверить, можно ли использовать технологию компьютерного зрения. эффективно применяется для классификации следов животных по видам и особям. Это сотрудничество началось в марте 2020 года и заняло примерно 6 недель (середина апреля). Доказательство концепции успешно имитировало захват и классификацию изображения на пограничном устройстве, которое затем пересылалось в облачное хранилище и отображалось в базовом внешнем интерфейсе.

Джонатан:Когда в мае мы снова взялись за проект (с Capstone), нашей первоначальной задачей было наметить ориентировочную цель для сквозного продукта. В рамках нашего первоначального исследования мы опросили 10 потенциальных пользователей (в основном, биологов-охранников и специалистов по отслеживанию дикой природы) в разных частях мира (от Израиля до Намибии и бразильской Амазонии). Эти беседы помогли нам отточить приоритетный набор вариантов использования и персонажей пользователей, на которых мы сосредоточили внимание на нашей концепции продукта. Мы быстро разработали минимальный жизнеспособный продукт (MVP), интегрировав стороннюю платформу для сбора изображений и данных, облачный вывод и обновленный интерфейсный дисплей.

Как только MVP работал в режиме альфа-тестирования (примерно через 5 недель), мы перешли на еженедельный спринтерский ритм, в котором мы вносили постепенные улучшения, добавляли новые функции и средства автоматизации и каждую неделю пытались выпускать готовый к производству продукт. Дисциплина еженедельных результатов вместе с нашими проверками служила способом регулярной оценки прогресса и правильного курса и помогала нам последовательно прогрессировать на протяжении всего срока. К 9-й неделе мы смогли сделать бета-сайт доступным почти для 40 пользователей. Это ускорило получение отзывов и помогло нам дополнительно настроить взаимодействие с пользователем модели на основе того, что мы услышали.

Как вы работали в команде? Как вам удалось поработать над своим проектом в качестве участника онлайн-программы?

Дэн: Был момент, когда во время завершения мероприятия из-за ограничений на поездки из-за COVID-19 GitHub вносил в наш репозиторий данные с четырех континентов. Я в Северной Америке, Майк живет в Южной Америке, Жак успевает бродить по разным уголкам Европы (от Люксембурга до Украины), а Джонатан был в Азии, прежде чем ему удалось вернуться в Штаты. Согласование календаря для совещаний само по себе было рутиной. Технологии и свободный график сна помогли снизить барьеры. Мы жили между Slack, Google Drive, Zoom и Asana, чтобы управлять рабочими процессами и поддерживать связь. Но, пожалуй, еще более увлекательным было то, как нам удалось самоорганизоваться в наших ролях и органично распределить обязанности по всему нашему технологическому стеку. История Джонатана в области управления проектами и проницательность в области разработки программного обеспечения и моделей были ключевыми. Способность Жака переключаться между моделированием и программным обеспечением помогла нам достичь даже самых сложных целей. Способность Майка поддерживать связь с заинтересованными сторонами для моделирования данных, одновременно занимаясь внутренней разработкой, оказалась очень кстати. И мой опыт работы с программным обеспечением помог мне ориентироваться во фронтенде и бэкенде.

Джонатан:Тесное сотрудничество с нашими партнерами из WildTrack, Зои Джуэлл и Скай Алибхай (базируется в Северной Каролине, так что добавьте в смесь 5-й часовой пояс) было уникальным аспектом, который имел решающее значение для успеха этот проект. У нас были еженедельные встречи с ними на протяжении всего проекта, и они имели доступ и были активны на наших досках разработчиков Asana/списках задач, а также на Google Диске.

Как ваша учебная программа I School помогла вам подготовиться к этому проекту?

Жак:Проект включал в себя все аспекты учебной программы I школы. Оглядываясь назад, курсовая работа для получения степени казалась крещендо кондиционирования, кульминацией которого стал Capstone. Наивысшая оценка принадлежит Науке о данных W251: глубокое обучение в облаке и на периферии. Этот курс познакомил нас с проектом и организацией WildTrack через связь, установленную Даррагом Хэнли, одним из инструкторов курса. Мы использовали ценные учения почти всех классов: от W201 по дизайну исследований, W205 и W207 по инженерии данных и принципам машинного обучения, W251 по практическим применениям глубокого обучения и W209 по визуализации данных. Наконец, Наука о данных W210: Capstone предоставила чрезвычайно ценное наставничество и позволило нам использовать и закрепить то, что мы узнали в конкретном проекте.

Есть ли у вас планы на будущее в отношении проекта?

Жак: Мы все с нетерпением ждем продолжения нашей поддержки WildTrack для эффективной передачи знаний и будущих разработок. В настоящее время мы готовимся помочь WildTrack представить нашу работу потенциальным источникам финансирования. На личном уровне каждый из нас стремится обобщить структуру/конвейер, которую мы разработали с помощью WildTrackAI, для более широких приложений. Джонатан будет работать над отслеживанием черепах, используя изображения панцирей. Майк будет изучать, как применить эту структуру к сельскому хозяйству посредством идентификации вредителей и болезней. Дэн будет работать над обнаружением различных форм загадочных наземных доказательств в режиме реального времени. И я буду работать над моделями обнаружения следов, которые можно развернуть на дронах, поскольку исследование и идентификация следов в первую очередь может занимать очень много времени. Использование технологии дронов для решения этой задачи изменит правила игры.

Какое влияние может оказать этот проект или кому он будет полезен?

Майкл: Конкретная проблема, которую пытается решить этот проект, заключается в том, могут ли передовые технологии компьютерного зрения повысить скорость и точность классификации животных на основе изображений следов. Улучшая таким образом мониторинг поведения диких животных, мы можем лучше защитить исчезающие виды, уменьшить утрату биоразнообразия и даже снизить риск передачи болезней человеку, что становится все более актуальным в последние месяцы.

Дэн:В ходе разработки проекта мы определили несколько персон, которых хотели обслуживать. Прежде всего, мы хотели улучшить процесс для команды WildTrack, которая занимается администрированием программы. WildTrack нуждалась в централизованной и автоматизированной системе для управления изображениями следов и моделями ИИ, а также в механизме для обеспечения обратной связи с полевыми пользователями. Во-вторых, мы хотели создать инструмент, в котором участвовали бы исследователи дикой природы, предоставляющие изображения и данные для проекта со всего мира. Наконец, мы хотели создать инструменты для получения поддержки от новичков, гражданских ученых и населения в целом посредством классификации следов на периферийных устройствах. В конечном счете, мы увидели в этом инструмент, который может служить всей планете, поддерживая биоразнообразие.

Дополнительная информация, которой можно поделиться?

Дэн: Мы в большом долгу перед Зои Джуэлл, Скай Алибхай и организацией WildTrack за их неустанные усилия в их миссии по изучению и защите дикой природы. Развитие партнерства с известной организацией для нашего курсового проекта и заключительного камня предоставило уникальный и практический опыт обучения. Мы надеемся, что будущие партнерские отношения между WildTrack и I School сохранят импульс, поскольку в этой области предстоит проделать большую работу. Мы также настоятельно рекомендуем устанавливать отношения с некоммерческими организациями, чьи миссии могли бы выиграть от науки о данных.