Пожалуйста, не поддерживайте платный доступ Medium — читайте бесплатно @ https://www.arrikto.com/blog/kubeflow-and-mlops-meetup-recap-feb-2022/

Подведение итогов встречи Kubeflow и MLOps — февраль 2022 г.

На прошлой неделе мы провели пятый митап Наука о данных, машинное обучение и Kubeflow. Отдельное спасибо нашим потрясающим спикерам Danny D. Leybzon и Trevor Grant. В этом сообщении блога мы подведем итоги встречи и расскажем, что будет дальше. Ок, покопаемся.

Присоединяйтесь к Meetup рядом с вами

Во-первых, если вы пропустили Meetup на прошлой неделе? Не нужно страдать от FOMO. Вот список встреч, которые являются частью сети встреч «Наука о данных, машинное обучение и Kubeflow». Пожалуйста, присоединяйтесь к тому, который наиболее дружелюбен к вашему местоположению.

Примите участие в сообществе Kubeflow

  • Присоединяйтесь к Slack сообщества Kubeflow
  • Вы заинтересованы в том, чтобы выступить на будущем Meetup?
  • Ваша компания заинтересована в спонсорстве Meetup?
  • Хотели бы вы стать соорганизатором местного Meetup?

Если вы ответили да на любой из вышеперечисленных вопросов, отправьте сообщение одному из организаторов/ведущих на Meetup.com или перейдите на Slack сообщества Kubeflow и напишите в директ @rawkintrevo.

Спасибо, что проголосовали за вашу любимую благотворительную организацию!

В беспрецедентных обстоятельствах, с которыми сталкивается наше глобальное сообщество, Arrikto ищет еще больше способов внести свой вклад. Имея это в виду, мы подумали, что вместо халявы мы могли бы дать участникам Meetup возможность проголосовать за свою любимую благотворительную организацию и помочь направить наши ежемесячные пожертвования на благотворительные цели. В этом месяце в голосовании на семинаре победила благотворительная организация Врачи без границ. Это международная гуманитарная медицинская неправительственная организация французского происхождения, наиболее известная своими проектами в зонах конфликтов и в странах, затронутых эндемическими заболеваниями. Мы рады сделать им пожертвование в размере 200 долларов США от имени сообщества Kubeflow. Еще раз спасибо всем, кто пришел и проголосовал!

Доклад № 1. Наблюдаемость ИИ: как исправить проблемы с вашей моделью машинного обучения

Когда модели машинного обучения внедряются в производство, их производительность начинает снижаться. Теперь, когда модели машинного обучения становятся все более важными как для предприятий, так и для стартапов, анализ первопричин и обеспечение наблюдаемости в ваших системах искусственного интеллекта также имеют решающее значение. Однако многие организации изо всех сил пытаются предотвратить ухудшение производительности моделей и обеспечить качество данных, поступающих в их модели ML, в основном потому, что у них нет для этого инструментов и организационных знаний.

В этом выступлении архитектор MLOps Дэнни Д. Лейбзон расскажет о проблемах, связанных с моделями машинного обучения, развернутыми в производственной среде, и о том, сколько из этих проблем можно решить с помощью передовых методов наблюдения за данными и ИИ. Сделав еще один шаг, спикер обсудит шаги, которые могут предпринять специалисты по данным и инженеры по машинному обучению, чтобы заранее обеспечить производительность своих моделей, а не реагировать на последствия снижения производительности, о которых сообщают их клиенты.

‹iframe width=”560’ height=”315’ src=”https://www.youtube.com/watch?v=cZ-ACm81XPY&t=1s’ title=”YouTube video player” frameborder=”0’ разрешить = «акселерометр; Автовоспроизведение; буфер обмена-запись; зашифрованные носители; гироскоп; картинка в картинке» allowfullscreen›‹/iframe›

Ссылки на ресурсы из обсуждения

Дэнни Д. Лейбзон, в настоящее время архитектор MLOps в WhyLabs, изучал вычислительную статистику в Калифорнийском университете в Лос-Анджелесе, был аналитиком, а затем менеджером по продукту для платформы больших данных Qubole.

Доклад № 2. Использование Apache Spark в Kubeflow: нетривиальный пример использования

Работать с матрицами больших данных сложно, Kubernetes позволяет пользователям эластично масштабироваться, но может иметь только модуль размером с узел, который может быть недостаточно большим, чтобы поместить матрицу в память. В то время как Kubernetes допускает другие парадигмы поверх него, что позволяет модулям координировать отдельные задачи, настроить их и заставить работать с платформами ML не так просто. Используя Apache Spark и Apache Mahout, мы можем работать с матрицами любого размера и распределять их по неограниченному количеству модулей/узлов, а также мы можем использовать Kubeflow, чтобы сделать нашу работу быстрой и легко воспроизводимой. В этом докладе мы обсудим, как мы использовали Apache Spark и Mahout для шумоподавления DICOM-изображений легких пациентов с COVID, и опубликуем наш Pipeline с Kubeflow, чтобы сделать процесс легко воспроизводимым, что может помочь врачам в больницах с ограниченными ресурсами, а также в других учреждениях. исследователи, стремящиеся автоматизировать обнаружение COVID.

‹iframe src="https://www.youtube.com/watch?v=NhugFB8TFQI" width="640" height="564" frameborder="0" allow="autoplay; полноэкранный режим» allowfullscreen›‹/iframe›

Ссылка на YouTube: https://youtu.be/f-zuVIVlqM0

Ссылки на ресурсы из обсуждения

Тревор — директор по связям с разработчиками в Arrikto и международный спикер, который рад вернуться на гастроли после двухлетнего перерыва в связи с COVID. Он также является членом и руководит несколькими проектами Apache Software Foundation, председателем PMC Apache Mahout и автором книги Kubeflow для машинного обучения: от лаборатории к производству.

Блестящие разговоры

На Meetup также было одно короткое молниеносное выступление, на которое стоит обратить внимание.

Вопросы и ответы

Вот резюме некоторых вопросов и ответов во время встречи, отредактированное для краткости и удобочитаемости.

Можно ли подключиться к вычислительным модулям kubeflow с помощью vscode для запуска файлов .py (не ноутбуков)?

Да, начиная с Kubeflow 1.3, вы можете запускать экземпляры VS Code в режиме самообслуживания.

Можете ли вы поделиться некоторыми ресурсами о том, как раскрутить экземпляры VS Code в режиме самообслуживания?

https://www.kubeflow.org/docs/components/notebooks/overview/

Инженер по связям с разработчиками!? Получать деньги за то, что пишете в блоги и проводите веселые разговоры?! Куда можно обратиться?!?!

Оставьте запрос здесь: https://apply.workable.com/arrikto/j/87A42E1D3B/ … Тревор должен это увидеть.

Предстоящая встреча в марте 2022 г.

Мы рады сообщить, что наши спикеры готовы к следующей встрече.

3 марта 2022 г.

  • Глубокое обучение в Robotic Vision — слияние архитектур — Kausthub Krishnamurthy
  • Установка Kubeflow: манифесты и упакованные дистрибутивы — Джимми Герреро @Arrikto

Если вы новичок в Kubeflow — установите MiniKF

MIniKF — это самый простой способ начать работу с Kubeflow на платформе по вашему выбору (AWS или GCP).

Вот ссылки:

Начало работы с Kubeflow — практические руководства

Установили, но не знаете с чего начать? Начните с этих практических руководств по Kubeflow.

БЕСПЛАТНЫЕ курсы и сертификаты Kubeflow

Мы рады объявить о первом из нескольких бесплатных курсов Kubeflow под руководством инструктора и по запросу! Серия курсов Введение в Kubeflow начнется с основ, а затем перейдет к более глубокому изучению различных компонентов Kubeflow. Каждый курс будет проходить через Zoom с возможностью получить сертификат после успешной сдачи экзамена. "Посетите нас, чтобы узнать больше."

Мы надеемся увидеть вас на будущем Meetup!