Пожалуйста, не поддерживайте платный доступ Medium — читайте бесплатно @ https://www.arrikto.com/blog/kubeflow-and-mlops-meetup-recap-feb-2022/
Подведение итогов встречи Kubeflow и MLOps — февраль 2022 г.
На прошлой неделе мы провели пятый митап Наука о данных, машинное обучение и Kubeflow. Отдельное спасибо нашим потрясающим спикерам Danny D. Leybzon и Trevor Grant. В этом сообщении блога мы подведем итоги встречи и расскажем, что будет дальше. Ок, покопаемся.
Присоединяйтесь к Meetup рядом с вами
Во-первых, если вы пропустили Meetup на прошлой неделе? Не нужно страдать от FOMO. Вот список встреч, которые являются частью сети встреч «Наука о данных, машинное обучение и Kubeflow». Пожалуйста, присоединяйтесь к тому, который наиболее дружелюбен к вашему местоположению.
- "Афины"
- Остин
- Бангалор
- Бостон
- "Чикаго"
- Лондон
- "Нью-Йорк"
- "Полуостров"
- "Сан-Франциско"
- Сиэтл
- "Кремниевая долина"
- "Торонто"
Примите участие в сообществе Kubeflow
- Присоединяйтесь к Slack сообщества Kubeflow
- Вы заинтересованы в том, чтобы выступить на будущем Meetup?
- Ваша компания заинтересована в спонсорстве Meetup?
- Хотели бы вы стать соорганизатором местного Meetup?
Если вы ответили да на любой из вышеперечисленных вопросов, отправьте сообщение одному из организаторов/ведущих на Meetup.com или перейдите на Slack сообщества Kubeflow и напишите в директ @rawkintrevo.
Спасибо, что проголосовали за вашу любимую благотворительную организацию!
В беспрецедентных обстоятельствах, с которыми сталкивается наше глобальное сообщество, Arrikto ищет еще больше способов внести свой вклад. Имея это в виду, мы подумали, что вместо халявы мы могли бы дать участникам Meetup возможность проголосовать за свою любимую благотворительную организацию и помочь направить наши ежемесячные пожертвования на благотворительные цели. В этом месяце в голосовании на семинаре победила благотворительная организация Врачи без границ. Это международная гуманитарная медицинская неправительственная организация французского происхождения, наиболее известная своими проектами в зонах конфликтов и в странах, затронутых эндемическими заболеваниями. Мы рады сделать им пожертвование в размере 200 долларов США от имени сообщества Kubeflow. Еще раз спасибо всем, кто пришел и проголосовал!
Доклад № 1. Наблюдаемость ИИ: как исправить проблемы с вашей моделью машинного обучения
Когда модели машинного обучения внедряются в производство, их производительность начинает снижаться. Теперь, когда модели машинного обучения становятся все более важными как для предприятий, так и для стартапов, анализ первопричин и обеспечение наблюдаемости в ваших системах искусственного интеллекта также имеют решающее значение. Однако многие организации изо всех сил пытаются предотвратить ухудшение производительности моделей и обеспечить качество данных, поступающих в их модели ML, в основном потому, что у них нет для этого инструментов и организационных знаний.
В этом выступлении архитектор MLOps Дэнни Д. Лейбзон расскажет о проблемах, связанных с моделями машинного обучения, развернутыми в производственной среде, и о том, сколько из этих проблем можно решить с помощью передовых методов наблюдения за данными и ИИ. Сделав еще один шаг, спикер обсудит шаги, которые могут предпринять специалисты по данным и инженеры по машинному обучению, чтобы заранее обеспечить производительность своих моделей, а не реагировать на последствия снижения производительности, о которых сообщают их клиенты.
‹iframe width=”560’ height=”315’ src=”https://www.youtube.com/watch?v=cZ-ACm81XPY&t=1s’ title=”YouTube video player” frameborder=”0’ разрешить = «акселерометр; Автовоспроизведение; буфер обмена-запись; зашифрованные носители; гироскоп; картинка в картинке» allowfullscreen›‹/iframe›
Ссылки на ресурсы из обсуждения
Дэнни Д. Лейбзон, в настоящее время архитектор MLOps в WhyLabs, изучал вычислительную статистику в Калифорнийском университете в Лос-Анджелесе, был аналитиком, а затем менеджером по продукту для платформы больших данных Qubole.
Доклад № 2. Использование Apache Spark в Kubeflow: нетривиальный пример использования
Работать с матрицами больших данных сложно, Kubernetes позволяет пользователям эластично масштабироваться, но может иметь только модуль размером с узел, который может быть недостаточно большим, чтобы поместить матрицу в память. В то время как Kubernetes допускает другие парадигмы поверх него, что позволяет модулям координировать отдельные задачи, настроить их и заставить работать с платформами ML не так просто. Используя Apache Spark и Apache Mahout, мы можем работать с матрицами любого размера и распределять их по неограниченному количеству модулей/узлов, а также мы можем использовать Kubeflow, чтобы сделать нашу работу быстрой и легко воспроизводимой. В этом докладе мы обсудим, как мы использовали Apache Spark и Mahout для шумоподавления DICOM-изображений легких пациентов с COVID, и опубликуем наш Pipeline с Kubeflow, чтобы сделать процесс легко воспроизводимым, что может помочь врачам в больницах с ограниченными ресурсами, а также в других учреждениях. исследователи, стремящиеся автоматизировать обнаружение COVID.
‹iframe src="https://www.youtube.com/watch?v=NhugFB8TFQI" width="640" height="564" frameborder="0" allow="autoplay; полноэкранный режим» allowfullscreen›‹/iframe›
Ссылка на YouTube: https://youtu.be/f-zuVIVlqM0
Ссылки на ресурсы из обсуждения
- Твиттер Тревора Гранта: @rawkintrevo
- Книга: Машинное обучение — от лаборатории к производству
- Рецензируемая статья
- "Код"
Тревор — директор по связям с разработчиками в Arrikto и международный спикер, который рад вернуться на гастроли после двухлетнего перерыва в связи с COVID. Он также является членом и руководит несколькими проектами Apache Software Foundation, председателем PMC Apache Mahout и автором книги Kubeflow для машинного обучения: от лаборатории к производству.
Блестящие разговоры
На Meetup также было одно короткое молниеносное выступление, на которое стоит обратить внимание.
- 10-минутное введение в Kubeflow: основы, архитектура и компоненты — Джимми Герреро, вице-президент по связям с разработчиками (Arrikto)
Вопросы и ответы
Вот резюме некоторых вопросов и ответов во время встречи, отредактированное для краткости и удобочитаемости.
Можно ли подключиться к вычислительным модулям kubeflow с помощью vscode для запуска файлов .py (не ноутбуков)?
Да, начиная с Kubeflow 1.3, вы можете запускать экземпляры VS Code в режиме самообслуживания.
Можете ли вы поделиться некоторыми ресурсами о том, как раскрутить экземпляры VS Code в режиме самообслуживания?
https://www.kubeflow.org/docs/components/notebooks/overview/
Инженер по связям с разработчиками!? Получать деньги за то, что пишете в блоги и проводите веселые разговоры?! Куда можно обратиться?!?!
Оставьте запрос здесь: https://apply.workable.com/arrikto/j/87A42E1D3B/ … Тревор должен это увидеть.
Предстоящая встреча в марте 2022 г.
Мы рады сообщить, что наши спикеры готовы к следующей встрече.
3 марта 2022 г.
- Глубокое обучение в Robotic Vision — слияние архитектур — Kausthub Krishnamurthy
- Установка Kubeflow: манифесты и упакованные дистрибутивы — Джимми Герреро @Arrikto
Если вы новичок в Kubeflow — установите MiniKF
MIniKF — это самый простой способ начать работу с Kubeflow на платформе по вашему выбору (AWS или GCP).
Вот ссылки:
Начало работы с Kubeflow — практические руководства
Установили, но не знаете с чего начать? Начните с этих практических руководств по Kubeflow.
- Учебник 1: Сквозной рабочий процесс машинного обучения: от ноутбука до пайплайнов Kubeflow с MiniKF и Kale
- Учебник 2. Создание сквозного рабочего процесса машинного обучения: от ноутбука до настройки HP и конвейеров Kubeflow с помощью Kale
- Урок 3. Создайте конвейер машинного обучения с настройкой гиперпараметров и обслуживайте модель, начиная с блокнота
- Урок 4. Создайте рабочий процесс AutoML, начиная с блокнота
- Урок 5: Распределенное обучение по Kubernetes с Kubeflow, Kale и PyTorch
БЕСПЛАТНЫЕ курсы и сертификаты Kubeflow
Мы рады объявить о первом из нескольких бесплатных курсов Kubeflow под руководством инструктора и по запросу! Серия курсов Введение в Kubeflow начнется с основ, а затем перейдет к более глубокому изучению различных компонентов Kubeflow. Каждый курс будет проходить через Zoom с возможностью получить сертификат после успешной сдачи экзамена. "Посетите нас, чтобы узнать больше."
Мы надеемся увидеть вас на будущем Meetup!