«Ваша способность выбирать направление своей жизни позволяет вам заново изобретать себя, изменять свое будущее и оказывать сильное влияние на остальную часть творения». — Стивен Р. Кови

Это будет первый раз, когда я буду писать и публиковать публично обзор своего года, но на этот раз я чувствовал, что было бы несправедливо не задокументировать опыт, тем более, что он свеж в памяти. Видите ли, четвертый квартал 2021 года был временем, когда я решил, наконец, взять быка за рога и следовать своей давней страсти, страсти, которая должна была увести меня от профессии, которую я изучал в университете (фармация), и перейти меня к новой карьере в области науки о данных и, в конечном итоге, в качестве инженера по машинному обучению.

Для удобства я разделю эту статью на квартальные сегменты, посвященные моему опыту, неудачам и успехам.

Q4 2021:

Я только что уволился с должности суперинтенданта-фармацевта в одной из крупнейших сетей розничных аптек в Нигерии и начал новую карьеру в качестве специалиста по обработке и анализу данных. Где-то в ноябре 2021 года я искал возможности стажировки в новой области, так как до этого я уже получил некоторый опыт работы над личными проектами и создания решений с использованием инструментов и фреймворков машинного обучения, и мне нужен был более агрессивный толчок и возможность работать в команде. По чистой случайности я наткнулся на сайт Data Sciences Network (подробнее о них можно прочитать здесь), искал любые возможности для работы с ними, и по воле судьбы на лендинге была информация о предстоящем буткемпе для специалистов по данным, и чтобы пройти квалификацию на буткемп, нужно было принять участие и хорошо закончить хакатон, проблема заключалась в том, что это должно было закончиться за 24 часа. Учитывая, что до этого момента я никогда не участвовал ни в каких хакатонах или соревнованиях по программированию, я почувствовал желание бросить себе вызов, чтобы не просто принять участие в хакатоне, но пройти его достаточно хорошо, чтобы меня пригласили на буткемп. Излишне говорить, что, учитывая короткие сроки, мне пришлось работать 26 часов, чтобы убедиться, что я построил модель с достаточно высоким показателем f1 для достижения высоких результатов в рейтинге. Я всегда буду рекомендовать хакатоны всем, кто начинает заниматься технологиями, независимо от аспекта, поскольку хакатоны по своей природе заставляют вас конкурировать, раздвигать границы ваших возможностей и в целом заставляют вас совершенствоваться. В течение 26 изнурительных часов мне пришлось быстро экспериментировать с различными параметрами, пробовать разные модели, придумывать всевозможные стратегии разработки функций, и все это для того, чтобы улучшить свой недавний прошлый результат f1. Это был приятный опыт, и, к счастью для меня, я прошел и был приглашен на буткемп, буткемп, который мне очень понравился, и я с нетерпением жду продолжения.

Q1 2022:

В новом году, как и во все годы, вам предстоит испытать желание улучшить себя и превзойти все рекорды, которые вы установили для себя в предыдущем году. Я помню, как сидел в своей комнате, размышляя, молясь и надеясь на то, каким будет новый год. На самом деле у меня не было стратегии, так как у меня была только надежда на то, что я добьюсь успеха во всем, чем занимаюсь в 2022 году. Чтобы еще больше бросить себе вызов и расширить границы своих технических способностей как Data Scientist, я искал больше возможностей для стажировки. . Я думаю, что какая-то часть меня теперь каким-то образом любит сжатые сроки, поскольку основным моментом первого квартала стала 4-месячная стажировка, которую я прошел в Hamoye (вы можете прочитать больше о программе и их интернатуре по науке о данных здесь), на которую я подал заявку почти в в последнюю минуту. Стажировка в Hamoye дала мне возможность усовершенствовать мою базу знаний по часто используемым алгоритмам машинного обучения, средам глубокого обучения, в частности Tensorflow, и фактически стала моим первым знакомством с работой с данными временных рядов. Обязательным условием успешного прохождения стажировки было участие в 2-х проектах: премьерном и завершающем. Как и на хакатоне, в котором я участвовал в предыдущем квартале, я почувствовал прилив энергии, чтобы превзойти текущую лучшую из моих способностей, хорошо закончить, но на этот раз не просто хорошо закончить, а финишировать со своей группой на вершине лестницы. Во время премьерного проекта моя группа, состоящая из хороших друзей Шубханги Саньял, Майкл Данкира, Ашвин Пракаш, построила и развернула модель для прогнозирования погодных условий для разных городов с использованием набора данных временных рядов. Мой вклад заключался в разработке и развертывании модели, так как в сотрудничестве с коллегами мы построили ряд моделей с использованием различных алгоритмов, включив в них небольшое проектирование функций и, наконец, выбрав модель с наилучшей производительностью. Поскольку из опыта изучения соревнований (Kaggle) я знал, что лучший способ выиграть хакатон по машинному обучению — это не просто разработать модель, но и развернуть ее, я создал веб-приложение Flask, которое предоставляло модель пользователям в демонстрационный день. Благодаря чистому упорству и решимости преуспеть моя команда заняла первое место, обойдя 21 другую команду.

Второй и третий квартал 2022 года были чередой положительных и отрицательных моментов. Много обучающих моментов, взрывы эпизодов синдрома самозванца, периоды, когда я чувствовал, что на самом деле не знаю, что делаю, и периоды, когда я чувствовал, что определенно знаю, что делаю 😀. Завершив свою программу стажировки в Hamoye в первом квартале, я искал более широкие возможности с более сложными задачами. Я подал заявку и прошел собеседование, организованное командой Launchpad.AI для их программы стипендий по машинному обучению. В то время как это произошло, я ранее сидел на собеседовании, во время которого мне задавали вопросы относительно генеративных моделей, и, поскольку до сих пор я понятия не имел, что они собой представляют или означают, нет необходимости говорить, что я бомбил интервью. Благодаря этому опыту я стал искать книги по генеративным моделям и начал их читать и посещать курсы по этому предмету. Возвращаясь к программе стипендий, нас было более 50 человек, которые были приняты в эту конкретную когорту из разных национальностей, и мы были разделены на группы, и каждой группе дали задание, над которым нужно было работать в течение периода стипендии. Это был еще один судьбоносный случай, поскольку группе, которую я назначил, было поручено создать изображение всего тела с использованием генеративных моделей. Работа над этим проектом была очень сложной и требовательной, и в то время она стала моим самым сложным техническим проектом. В ходе стажировки я прочитал много статей о генеративных моделях, до которых мог дотянуться, и изучал лежащие в их основе коды. Моя команда, состоящая из блестящих инженеров по машинному обучению, таких как Lakshmanaraja Kannan, Newsha Seyedi, Shashank Gupta, Rolf Lobo и Adebanji Adelowo, смогла создать iOS-приложение, которое могло генерировать изображения всего тела, используя введенные пользователем фотографии лица, случайные семена или введенные пользователем фотографии лица и тела. Этот эпизод моей жизни заставил меня увлечься генеративными моделями, на изучение которых я потратил довольно много времени, и сегодня я использую генеративные модели для увеличения данных изображений.

Q2 — Q3 2022:

По завершении стипендии я почувствовал, что пришло время подавать заявки на роли MLE, поэтому я начал отправлять свои резюме всем возможностям, которые я мог видеть. Это было началом настоящего пути обучения и случайными моментами отчаяния. Во-первых, из-за того, что я переключился с нетехнического образования на науку о данных, я упустил возможность изучить ряд основных концепций разработки программного обеспечения и принципов проектирования. Хотя я знал все о часто используемых структурах данных, таких как списки Python, наборы, кортежи, словари и т. д., я понятия не имел, что такое алгоритмы поиска и сортировки, двоичные деревья (забавно, учитывая, что я часто использовал деревья решений), хэш-таблицы и связанные списки. , поэтому, сталкиваясь с собеседованием, я обычно очень хорошо справлялся с аспектами, относящимися к машинному обучению, и боролся с этими другими областями. Кроме того, поскольку при прохождении онлайн-курсов упражнения обычно ограничиваются ноутбуками Jupyter, а объем редко затрагивает производство моделей (за исключением курсов MLOps), я плохо понимал, что значит запустить модель в производство, обработать проектирование систем обучения и смежные области. Так что этот период был встречен множеством отказов, но что такое жизнь без смеси успехов и неудач? Я не собирался позволять этому опыту сводить меня с ума, с помощью качественного наставника (о котором я вскоре расскажу) я начал уткнуться в книги и курсы, которые помогут мне в этом вопросе. Было также несколько компаний, с которыми я писал тесты и брал интервью вплоть до финальных стадий, но потом призрак меня, но они не будут предметом этой статьи.

Пока я проводил собеседования и писал тесты, я также провел несколько месяцев, работая с Omdena, где, работая с другими учеными по данным со всего мира, мы работали над действительно важными проектами с использованием ИИ. Из 3 проектов Omdena, в которых я участвовал, работа, которую я и моя команда проделали по выявлению рака шейки матки, была для меня самой дорогой, поскольку она включала в себя много усердного изучения и исследования методов выявления стадий рака шейки матки на основе системы Bethesda. классификации. В качестве ведущего инженера по машинному обучению моя подгруппа, состоящая из отличных инженеров по машинному обучению Розиты Солеймани и Лу Хту Кьяу, работала над развертыванием моделей, разработанных другими членами команды. В целом, это был важный момент обучения, так как это была возможность для меня развить новые технические и межличностные навыки, в частности командную работу в качестве руководителя, у меня появилась способность делегировать и контролировать подзадачи, выполняемые моими коллегами и мной.

Работа над четвертым кварталом все еще продолжается, так как я предпринял шаги и процессы, которые должны принести плоды (надеюсь, положительные 😊) к середине первого квартала 2023 года.

Q4 2022:

О наставничестве:

"Наставничество – это мозг, который нужно слушать, ухо, чтобы слушать, и толчок в правильном направлении". — Джон Кросби

Поскольку я вступал в новую область, почти ничего не зная о многих вещах, я знал, что должен завести хороших друзей и наставников из людей, которые прошли до меня, знали все тонкости, могли указать мне правильное направление и привести меня к цели. лучше мое нынешнее я. Поэтому я начал искать известных специалистов по данным в Twitter и LinkedIn и связываться с людьми, которые были бы достаточно любезны, чтобы помочь и указать мне правильное направление.

Один из них — Мэнни Ко, главный инженер Apple. То, как мы встретились, было просто удачей, поскольку я оставил комментарий к сообщению LinkedIn, и он ответил на мой комментарий, указав на недостаток в мышлении, которое я применил, безусловно, потому, что у него был больший опыт. Говорят, что способность находить возможности приходит с острым взглядом на то, что выглядит как возможность, поэтому, когда я увидел его ответ, я посмотрел на него, понял, что мне это нужно, и решил связаться с ним. Он был (и остается) милостив ко мне, читая мои сообщения, отвечая на них почти сразу и указывая мне правильное направление. Я помню, как поделился с ним своим резюме, и он указал на многочисленные недостатки в оформлении резюме, недостатки, которые никто из людей, которые до сих пор видели мое резюме, не заметил, он не только указал на недостатки, но и предложил решения, и помог мне со всеми вопросами. ресурсы, которые мне нужны, чтобы улучшить его. Сейчас, когда передо мной стоит задача придумать решение, я консультируюсь с ним и в течение нескольких минут или часов получаю развернутый ответ — каждая консультация с ним всегда открывает глаза.

В книгах:

Чем больше вы читаете, тем больше вы узнаете. Чем больше вы узнаете, тем больше мест вы посетите». — Доктор Сьюз

«Творчество рождается из опыта и уверенности в своих силах, потому что возможности того, что можно сделать, расширяются по мере того, как больше вы знаете»  — я забыл, кто сделал эту цитату, но Я читал ее несколько лет назад, и она врезалась в память.

Перейдя к новой карьере, я знал, что мне нужно много читать и учиться, так что я делал и делаю до сих пор. Возможно, из-за того, что я уже ненасытный читатель книг, книги стали моей первой точкой вызова, когда я хотел изучить новый предмет, и, по моему мнению, при поиске знаний по теме машинного обучения я бы рекомендовал сначала прочитать хорошую книгу, прежде чем выбрать онлайн-курсы, потому что для меня книги содержат очень подробные сведения, которые в противном случае были бы упущены в онлайн-курсе. Некоторые из книг, которые я читал, перечислены ниже:

Книги, которые я собираюсь прочитать в 2023 году (рекомендуйте любые хорошие книги в комментариях):

  1. Генеративное глубокое обучение: обучение машин рисовать, писать, сочинять и играть, Дэвид Фостер
  2. Проектирование систем машинного обучения: итеративный процесс для готовых к производству приложений, Чип Хьюен
  3. Практические MLOps: операционализация моделей машинного обучения от Ноа Гифта
  4. Представляем MLOps: как масштабировать машинное обучение на предприятии, Марк Тревейл
  5. Структуры данных и алгоритмы с использованием Python, Рэнс Д. Некейз
  6. Практическое машинное обучение с помощью Scikit-Learn, Keras и Tensorflow от Aurelien Geron
  7. Конвейеры данных с Apache Airflow, Бас П. Харенслак, Джулиан Рутгер де Рюйтер
  8. Машинное обучение с PyTorch и Scikit-Learn, Себастьян Рашка
  9. Основы математики для науки о данных Томаса Нильда
  10. Prometheus Up and Running: Infrastructure and Application Performance Monitoring by Brian Brazil

Курсы, которые я прошла в 2023 году:

  1. Кафка — Полное руководство Гвен Шапира
  2. Комета для науки о данных Анжелики Ло Дука
  3. Специализация по генеративно-состязательным сетям от Coursera

В целом, 2022 год был годом, который я не забуду в спешке, поскольку для меня было много моментов обучения и откровений, которыми я буду дорожить долгие годы. С Новым 2023 годом, пусть он будет для вас продуктивным и благополучным. Ваше здоровье!

  1. Специализация «Математика для машинного обучения от Coursera»
  2. Инженерия машинного обучения для специализации производства от Coursera
  3. Тестирование и мониторинг развертывания моделей машинного обучения, Кристофер Самиулла
  4. Курс MLOps от Гоку Мохандаса
  5. Udacity Computer Vision Nanograde
  6. Наноградус разработчика облачных сервисов Udacity
  7. Воодушевленный успехом своей команды и меня, я был заряжен и готов участвовать в завершающем проекте и снова добиваться победы моей команды, однако произошел небольшой перерыв, организаторы мероприятия сочли необходимым перетасовать команды, поэтому, хотя моя новая команда состояла из 2 человек из другой команды, мне пришлось завести новых друзей и коллег и переоценить сильные стороны моих новых членов команды. Стоявшая перед нами задача заключалась в классификации образцов крови на наличие малярийного паразита или иным образом, задача классификации изображений — многоклассовая классификация. Поскольку до сих пор я уже выполнил ряд проектов по классификации изображений, я не слишком стремился просто построить модель классификации изображений и надеяться, что мы закончим ее первыми, поэтому я решил сделать задачу максимально реалистичной в реальных условиях, т.е. , когда вы идете на тест на малярию, вам не только сообщают о наличии малярийного паразита в крови, но также сообщают о паразитарной нагрузке, т. е. о количестве малярийных паразитов в взятом образце крови. С этой целью, обсудив с членами команды, состоящей из новых друзей и коллег Сушмита Гупта и Арчана Ядав, я решил продвинуть задачу на шаг вперед — классификация изображений + обнаружение объектов, поэтому, когда модель классификации изображений подтвердит наличие малярийного паразита в образце крови, изображение передается в модель обнаружения объектов для локализации паразитических клеток на изображении. Теперь это была просто идея, я никогда раньше не делал ничего подобного, так как обычно у меня было две отдельные задачи (классификация изображений и обнаружение объектов), поэтому мне пришлось провести некоторое исследование и чтение, к счастью, я нашел идею используя старую технику скользящего окна для обнаружения объектов. Это заняло некоторое время и много настроек, но в конечном итоге это было успешно. Развертывание! как и в случае с главным проектом, мы не могли просто сделать проект, не развернув его для пользователей, поэтому я попросил своего коллегу Archana поработать над приложением Streamlit, а я пошел еще дальше, записавшись на краткий курс по развертыванию моделей Tensorflow. на мобильных устройствах. Это было мое первое знакомство с Tensorflow Lite, и было очень интересно создавать модели и иметь их на своем телефоне как часть приложения. Мне удалось создать приложение для iOS (простое, но оно выполнило свою работу 😀). И снова моя команда вышла на первое место, на этот раз обойдя 9 других участников и завоевав корону, я был в восторге, для меня это было доказательством концепции, что действительно, я действительно мог научиться всему, чему хотел научиться, стал в этом хорош. , конкурировать и быть успешным в нем.

2022 год в обзоре — от фармации к науке о данных