В последнем выпуске журнала The Economist появилась статья под названием Новые схемы учат массы изучать ИИ. В статье рассказывается об усилиях некоммерческой организации Bay Area fast.ai, цель которой - развеять мифы о глубоком обучении и научить массы использовать эту технологию. Я был упомянут в статье в качестве примера успеха этого подхода: Выпускница первого курса fast.ai, Сара Хукер, была нанята в высококонкурентную программу резидентуры Google по окончании курса, поскольку никогда раньше не работала над глубоким обучением. .

Я провел последние несколько дней с беспокойством по поводу статьи. С одной стороны, я не хочу отвлекаться от признания fast.ai. Рэйчел и Джереми - люди, которыми я восхищаюсь, и их работа по обеспечению доступа тысячам студентов по всему миру необходима и является одной из первых программ такого рода. Однако не выразить свое беспокойство также проблематично, поскольку он поддерживает упрощенное повествование, которое вводит в заблуждение других, стремящихся войти в эту область.

Это правда, что я присутствовал на первом сеансе fast.ai и впоследствии мне предложили роль резидента по ИИ в Google Brain. Тем не менее, приписывание моего успеха вечернему 12-недельному курсу с частичной занятостью (части 1 и 2) создает ложное впечатление короткой истории о Золушке у всех, кто хочет научиться машинному обучению. Более того, это значение сводит к минимуму мои собственные усилия и путешествие.

Некоторое время у меня была ясность в том, что я люблю делать. Во время учебы в бакалавриате я не сталкивался ни с машинным обучением, ни с информатикой. Я вырос в Африке, в Мозамбике, Лесото, Свазиленде и Южной Африке. Моя семья в настоящее время живет в Монровии, Либерия. Моей первой поездкой в ​​США был полет в Миннесоту, где я получил стипендию для посещения небольшой школы гуманитарных наук под названием Карлтон-колледж. Я приехал для ознакомления с иностранными студентами, никогда раньше не видел кампус. Приехав из Африки, я также не имел никакого ориентира для понимания того, насколько холодными будут зимы в Миннесоте. Несмотря на суровую погоду, я прекрасно провел четыре года, изучая программу гуманитарных наук по специальности «Экономика». Я мечтал стать экономистом Всемирного банка. Отчасти это произошло потому, что самые технические люди, с которыми я познакомился в детстве, были экономистами из таких организаций, как Международный валютный фонд и Мировая продовольственная программа.

Я решил отложить подачу заявки на соискание докторской степени по экономике до нескольких лет после окончания учебы, вместо этого приняв предложение поработать с докторами-экономистами в районе залива по антимонопольным вопросам. Мы применили экономическое моделирование и статистику к реальным случаям и наборам данных, чтобы оценить, имело ли место фиксирование цен, или определить, использовала ли фирма свои возможности для нанесения вреда потребителям.

Через несколько месяцев после того, как я переехал в Сан-Франциско, я и несколько коллег-экономистов (Джонатан Ван, Сесилия Ченг, Асим Манизада, Том Шаннахан и Эйтан Шиндельхайм) начали встречаться по выходным, чтобы стать волонтером для некоммерческих организаций. Мы действительно не знали, что делаем, но подумали, что предоставление наших навыков работы с данными некоммерческим организациям бесплатно может быть полезным способом вернуть деньги. Мы отправили по электронной почте некоммерческую рассылку Bay Area и были поражены количеством откликов. Мы ясно видели, что у многих некоммерческих организаций есть данные, но они не знали, как использовать их для ускорения своего воздействия. В том году мы зарегистрировались как некоммерческая организация под названием Delta Analytics, и к нам присоединились волонтеры, которые работали инженерами, аналитиками данных и исследователями. Delta по-прежнему полностью управляется волонтерами, у нее нет штатного персонала, и она предлагает все виды сотрудничества с некоммерческими организациями бесплатно. К тому времени, когда я подал заявку в Google AI Residency, у нас было завершено проектов с более чем 30 некоммерческими организациями.

Delta стала поворотным моментом на моем пути, потому что данные партнеров, с которыми мы работали, часто были беспорядочными и неструктурированными. Допущения, необходимые для построения линейной модели (такие как гомоскедастичность, отсутствие автокорреляции, нормальное распределение), присутствовали редко. Я воочию убедился, что линейные функции, излюбленный инструмент экономистов, терпят неудачу. Я решил, что хочу узнать больше о более сложных формах моделирования.

Я присоединился к стартапу Udemy в качестве аналитика данных. В то время Udemy представлял собой стартап из 150 человек, цель которого - помочь каждому чему-нибудь научиться. Мой босс создавал для меня проекты, которые были сложными, оказали большое влияние и подтолкнули меня в техническом плане. Одним из ключевых проектов, над которыми я работал в течение первого года, был сбор данных, разработка и внедрение первого алгоритма обнаружения спама Udemy.

Работа над такими проектами, как обнаружение спама, убедила меня в том, что я хочу технически развиваться как инженер. Я хотел иметь возможность быстро выполнять итерацию и иметь полный контроль над моделями, над которыми я работал, включая их развертывание в производственной среде. Для этого требовалось научиться кодировать. Я начал свою карьеру с работы в STATA (статистический пакет, похожий на MATLAB), R и SQL. Теперь я хотел свободно говорить на Python. Я ходил на вечерние занятия в Hackbright и начинал вставать в 4 часа утра почти каждый день, чтобы попрактиковаться в программировании перед работой. Это по-прежнему обычная привычка, хотя теперь я делаю это, чтобы читать статьи, не связанные напрямую с моей областью исследований, и выкроить время для новых областей, о которых я хочу узнать.

Спустя полгода, хотя я и улучшился в программировании, я все еще не был достаточно опытным, чтобы пройти собеседование в качестве инженера. В то время команда специалистов по обработке данных Udemy была отделена от моей группы аналитики. Удеми инвестировал в меня. Они одобрили мой перевод в инженерное дело, где я начал свою карьеру в качестве первого специалиста по данным, не имеющего докторской степени. Я работал над алгоритмами рекомендаций и узнал, как масштабно развертывать модели для миллионов людей. Переход в инженерное дело ускорил мой технический рост и позволил мне продолжать совершенствоваться как инженер.

Параллельно с моим ростом в Udemy я все еще работал над проектами Delta. Две из них мне особенно понравились. Первый (вместе со Стивеном Трокслером, Каго Кагичири, Мозесом Мутуку) работал с Eneza Education, компанией, оказывающей социальное влияние на образовательные технологии в Найроби, Кения. Eneza использовала технологию, предшествующую смартфону, чтобы более 4 миллионов учащихся начальной и средней школы могли получить доступ к практическим викторинам с помощью мобильных текстовых сообщений. Данные Eneza предоставили прекрасную информацию об использовании сотовых телефонов в Кении, а также о практике обучения в обществе. Мы работали над выявлением сложных викторин, которые сдерживали активность учащихся, и улучшили способы адаптации к индивидуальным потребностям и способностям. Второй проект был с Rainforest Connection (вместе с Шоном Макферсоном, Степаном Цапфом, Стивеном Трокслером, Кассандрой Джейкобс, Кристофером Каушааром), цель которого заключалась в выявлении незаконной вырубки лесов с использованием потокового аудио из тропических лесов. Мы работали над инфраструктурой для преобразования звука в спектрограммы. После преобразования мы структурировали проблему как классификацию изображений и использовали сверточные нейронные сети, чтобы определить, присутствуют ли бензопилы в аудиопотоке. Мы также работали над моделями, чтобы лучше триангулировать звук, обнаруживаемый переработанными мобильными телефонами.

В начале 2017 года я решил начать работу над учебной программой, чтобы преподавать фундаментальные принципы машинного обучения. Решение было мотивировано желанием превратить Delta из некоммерческой организации, которая сокращала разрыв в навыках, в организацию, которая также создавала технические возможности по всему миру. Предоставляя местным сообществам возможность использовать свои данные, мы поощряли более устойчивые долгосрочные меры. Я оставил Udemy и работал полный рабочий день с группой добровольцев в Delta (Ханна Сонг, Аманда Су, Джек Пфайффер, Розина Нортон, Эмили Рурк, Кевин Пэн, Мелисса Фаброс), чтобы разработать учебную программу, которая включала в себя как теорию, так и программирование. »Модули. Я переехал с Ханной Сонг в Найроби, Кения, чтобы преподавать наш пилотный курс. Мы создали локальный набор данных, вызвав Kiva API, чтобы получить все ссуды, выданные в Кении за последние 10 лет. Мелисса Фаброс, Лина Хуанг и Сидней Вонг в настоящее время преподают вторую итерацию этого курса в Агадире, Марокко, и в команду преподавателей вошли еще более невероятные добровольцы, в том числе Брайан Спиринг, Марио Каррильо, Тхуонгву Хо и Парикшит Шарма.

В общем, я только что описал четыре года усилий и участия в сообществе машинного обучения, которые предшествовали моему участию в fast.ai. Я никогда не узнаю, почему меня приняли в резидентуру Google AI. Однако я сомневаюсь, что это произошло исключительно из-за того, что я прошел курс fast.ai.

Это не умаляет ценности того, что делают Рэйчел и Джереми. fast.ai очень особенный: он является частью более широкого заявления о доступе, расширении прав и возможностей и демократизации. Учебная программа включает знания из открытых источников, ранее ограниченные узким набором исследовательских лабораторий и программ докторантуры. Что наиболее важно, они вывели дискурс о глубоком обучении за рамки академических конференций и заставили студентов чувствовать себя комфортно, применяя технологические достижения для решения проблем во всем мире.

Однако меня беспокоит то, что история в Economist не только вытесняет мое собственное повествование, но и ставит нереалистичные ожидания для всех, кто работает в этой области. В статье не учитывается, насколько труден путь, и студенты могут непреднамеренно задавать себе вопросы, если они не достигают желаемого результата сразу.

Суровая правда заключается в том, что одни только усилия редко полностью объясняют чьи-то достижения. Многие люди поверили в меня, вытолкнули меня из зоны комфорта и дали мне возможность работать над важными, нетривиальными проблемами, которые продемонстрировали мои способности. Я получил пользу от пребывания в Сан-Франциско, где концентрация технических талантов означала доступ к наставничеству и погружению в интересные технологии. Также был элемент удачи. Несколько лет назад программы резидентства Google AI не существовало. Я являюсь частью второй когорты в истории программы. Предпосылка резидентуры столь же революционна, как и мотивация fast.ai; Резиденция была создана, чтобы открыть поле для исследований кандидатам из разного и нетипичного происхождения. Об успехе программы свидетельствует количество программ резидентуры, которые с тех пор были анонсированы в других ведущих исследовательских лабораториях (Uber, Facebook, Microsoft, OpenAI).

Наша область требует большего разнообразия. Должно быть больше людей вроде меня, которые чувствуют себя желанными гостями и которым даны инструменты для достижения успеха. Тем не менее, часть подготовки людей к успеху состоит в том, чтобы откровенно заявить о том, насколько это может быть сложно и сколько неудач происходит на этом пути (см. Отличный набор статей о неудачах здесь). The Economist ошибочно полагает, что после 12-недельного курса неполного рабочего дня вы находитесь на финише.

Также неприятно предполагать, что Google Brain - это финишная черта. Я люблю свою работу и людей, с которыми работаю, но мы должны осторожно предполагать, что это единственный результат, заслуживающий особого внимания. Во всем мире есть много талантливых людей, которые работают над важными проблемами и не работают в Google. Если вы собираетесь отправиться в самостоятельное путешествие по самоучке, я бы посоветовал задать себе один очень важный вопрос: вы по-прежнему увлечены машинным обучением, если не попали в такую ​​компанию, как Google? Если вы не уверены, что ответ положительный, действуйте осторожно.

В конце концов, нет определенного пути к достижению ваших целей. Я работаю в той области, которая мне нравится, с сотрудниками, которые постоянно вдохновляют меня на улучшение. Google Brain дал мне возможность поработать над важным исследованием интерпретируемости глубоких нейронных сетей и сжатия моделей. У меня также была возможность участвовать в таких инициативах, как исследовательская лаборатория Google Brain, возглавляемая Мустафой Сиссе в Аккре, Гана.

Сложность в том, что чем больше вы знаете, тем больше понимаете, что нужно знать. Остается много подполей, в которых мое воздействие ограничено. Я продолжаю задавать вопросы и всегда уточняю, когда концепция неясна. Я никогда не притворяюсь, что понимаю что-то, когда не понимаю. Однако мой необычный фон дает и определенные преимущества. У меня есть идеи, которых нет у моих коллег, и мое знакомство с разными областями часто заставляет меня соединять концепции неожиданными и новыми способами.

В 2017 году я начал преподавать основы машинного обучения с той же мотивацией, что и Рэйчел и Джереми. Мы не одиноки, такие усилия, как Deep Learning Indaba, Программа мастеров AIMS, Data Science Africa, Летняя школа глубокого обучения и сообщения в блогах, такие как distill.pub, направлены на то, чтобы открыть поле для новичков. . Моя мотивация преподавания состоит в том, чтобы каждый, кто интересуется машинным обучением, мог понять фундаментальные концепции в нашей области. Для некоторых машинное обучение станет временным хобби. Для других это станет началом пути к тому, чтобы стать исследователем / инженером / специалистом по данным / аналитиком. Оба результата полезны и обогащают наше сообщество. Нам нужно больше людей с мимолетным знакомством, чтобы обогатить обсуждение политики и того, как технологии машинного обучения влияют на общество. Мы также должны поощрять тех, кто хочет идти дальше и вносить свой вклад в области исследований и прикладных технологий. Мое путешествие, несомненно, все еще продолжается, и, несмотря на то, что оно было медленным и постепенным, всегда приносило глубокое удовлетворение.

Благодарности:

Спасибо Мелиссе Фаброс, Аманде Су и Праджиту Рамачандрану, которые предоставили полезные отзывы и ценные правки к более ранним наброскам этой статьи.

Примечание. Экономист никогда не обращался ко мне и не просил прокомментировать статью перед публикацией.