Всем привет!

Прежде всего, я хотел бы поблагодарить вас за то, что вы присоединились к такому большому количеству (1196 подписчиков) и читаете этот информационный бюллетень.

Я не воспринимаю вашу поддержку легкомысленно. И я рад, что так много людей в моей сети интересуются искусственным интеллектом.

Информационный бюллетень этого месяца будет посвящен двум конкретным решениям, которые команда DLabs.AI использует (и настоятельно рекомендует). Я также опишу новаторское исследование в области здравоохранения наряду с некоторыми захватывающими разработками Metaverse.

Этот полон деталей; Я надеюсь, вам понравится читать!

TFX — недооцененный инструмент Google, который является самым быстрым путем к MLOps производственного уровня.

Что вы знаете о Tensorflow Extended (TFX)?

Недавно я обнаружил, что существует всего несколько онлайн-руководств по этому инструменту. И кажется, что фреймворк не так широко принят, как того заслуживает.

Это позор, потому что он имеет так много преимуществ и предлагает хорошо структурированный набор лучших практик MLOps от Google, поэтому сегодня я предлагаю вашему вниманию TFX.

Мы можем использовать эту библиотеку для декларативного создания конвейеров машинного обучения. Основное преимущество заключается в том, что по большей части не нужно писать код (кроме фактического кода разработки функций и моделирования), чтобы запустить конвейер.

TFX поставляется с набором компонентов, ориентированных на Google Cloud Platform, которые являются своего рода заменой стандартных компонентов TFX и позволяют пользователю легко использовать возможности распределенного обучения и обслуживания GCP.

У него также есть такие преимущества, как компоненты без кода, которые реализуют многие этапы конвейера ML, отличная поддержка Tensorflow и простое развертывание в облаке, и это лишь некоторые из них.

DLabs.AI недавно использовала TFX для наших конвейеров, поэтому мы исследовали, как применить его к машинному обучению в производственной среде. Мы также решили открыть исходный код, чтобы показать, как применить стандартное отраслевое решение NLP (BERT) к классической проблеме (анализ настроений) с использованием TFX и бессерверной облачной среды развертывания (Vertex AI Pipelines).

Мы подготовили курс, который подробно описывает результаты нашего исследования и включает в себя пошаговое руководство о том, как:

  • Создайте модель машинного обучения для анализа настроений с использованием готовых компонентов (BERT)
  • Создайте сквозной конвейер MLOps для обучения, оценки и развертывания модели с помощью TFX.
  • Разверните указанный конвейер в бессерверной среде Vertex AI Pipelines Google Cloud Platform.
  • Предварительный просмотр всех важных артефактов конвейера

После проекта наша команда пришла к выводу, что TFX, вероятно, является самым быстрым способом получения MLOps производственного уровня. Если вы хотите попробовать это, мы не можем рекомендовать это достаточно высоко.

А поскольку наш курс TFX полностью бесплатный и с открытым исходным кодом, это отличное место для начала: https://bit.ly/3Ky0UOJ

Прогнозирование вероятности повторного роста опухоли после лечения у онкологических больных

Фотография: NHS England/PA. Источник: Гардиан

Если вы читали мои предыдущие информационные бюллетени, то заметили, что я внимательно слежу за разработками HealthTech.

На этот раз я не могу не упомянуть недавнее исследование Фонда Royal Marsden NHS Foundation Trust, Института исследования рака в Лондоне и Имперского колледжа Лондона. В нем исследователи разработали инструмент, который может предсказать вероятность повторного роста опухоли у больных раком после лечения.

Для построения модели команда использовала клинические данные 657 пациентов с НМРЛ, проходивших лечение в пяти британских больницах. Затем они добавили данные о прогностических факторах (таких как возраст, пол, ИМТ, курение, интенсивность лучевой терапии и характеристики опухоли), чтобы лучше предсказать вероятность рецидива.

Модель на основе ИИ помогла им классифицировать пациентов по категориям высокого и низкого риска и оценить вероятное время до рецидива — и общие шансы на выживание через два года после лечения.

Инструмент оказался более точным, чем традиционные методы, и результаты были опубликованы в журнале The Lancet eBioMedicine.

Это захватывающее открытие может помочь предотвратить рецидив и снизить тревогу, связанную с риском, что, несомненно, окажет неоценимое влияние на самочувствие и психологию пациентов.

Я надеюсь, что это исследование откроет двери для новых прорывов в области искусственного интеллекта не только в прогнозировании, но и в борьбе с этой опасной болезнью.

Источник: Гардиан

Так вы сократите расходы и улучшите результаты

Независимо от того, насколько развитой может казаться компания снаружи, бизнесу будет сложно масштабироваться, если внутренние системы неэффективны.

Так было в случае с одним из крупнейших операторов магазинов у дома в Польше: сетью с более чем 7500 магазинами и 2,5 млн покупателей, которая боролась с расходами и обслуживанием из-за устаревшей системы.

Что еще хуже, программное обеспечение также использовало чрезмерно сложные многомерные запросы и очень нишевые технологии, поэтому они наняли DLabs, чтобы помочь им решить проблемы, сосредоточив внимание на:

  • Миграция ежедневного процесса расчета фактической закупочной цены продуктов у поставщика со старой технологии IBM TM1 на Snowflake.
  • Ускорение операций за счет использования онлайн-данных из хранилища данных
  • Ускорение обработки данных
  • Оптимизация процесса документирования
  • Повышение надежности системы
  • Упрощение стека технологий, чтобы любой, кто обладает знаниями SQL и деловой хваткой, мог его поддерживать.

Наша команда извлекла сложную бизнес-логику из устаревшей системы, а затем повторно реализовала ее, используя лучшие практики DataOps с DBT, с представлениями и процедурами SQL в Snowflake.

Затем мы настраиваем конвейер CI/CD для воспроизводимости в нескольких средах. И мы сосредоточились на обеспечении того, чтобы весь процесс был задокументирован и версионирован, чтобы другие инженеры могли его использовать и поддерживать.

В результате клиент:

  • Снижение затрат за счет перехода от дорогих лицензий к решению на основе Snowflake
  • Сокращено время, необходимое для запуска процесса, с ›3 часов до ‹20 минут
  • Может обнаруживать и исправлять скрытые ошибки и крайние случаи благодаря подробному анализу существующих процессов.
  • Могут воспроизвести процесс в разных средах, то есть развернуть все решение за считанные минуты благодаря полностью автоматизированному конвейеру CI/CD.

Используя лучшие практики DataOps, мы также обеспечили, чтобы система обнаруживала все ошибки (включая ошибки источника данных) как можно раньше с помощью автоматических тестов.

Не стесняйтесь обращаться к нам, если вы хотите обсудить создание аналогичного решения для вашего бизнеса.

Скоро вы сможете поговорить с умершим

В метавселенной нет недостатка в сюрпризах. Недавно мы читали о поклоннике Снуп Догга, который заплатил 450 тысяч долларов, чтобы стать его виртуальным соседом.

Сегодня мир технологий узнал об ошеломляющем проекте «Живи вечно», разрабатываемом Somnium Space: компанией, которая создает способ, с помощью которого люди могут разговаривать со своими близкими даже после смерти.

Исследование, проведенное Nature в октябре 2020 года, показало, как технология виртуальной реальности может идентифицировать кого-то с точностью 95% менее чем за пять минут отслеживания движений человеческого тела.

Теперь Somnium Space хочет собрать данные о внешнем виде, звуке, речи и движениях, чтобы с помощью ИИ воссоздать бессмертное зеркальное отражение с теми же моделями речи и движений умершего.

Решение столь же пугающее, сколь и увлекательное, читая, как научная фантастика оживает.

Источник: Вице

- -

Это все за этот месяц.

Надеюсь, вам понравились выводы :)

Дайте мне знать, что захватило ваше воображение, и если у вас есть какие-либо вопросы, задайте их в комментариях на LinkedIn.

Или не стесняйтесь отправить мне личное сообщение.

Первоначально опубликовано на https://www.linkedin.com.