Всем привет!
Прежде всего, я хотел бы поблагодарить вас за то, что вы присоединились к такому большому количеству (1196 подписчиков) и читаете этот информационный бюллетень.
Я не воспринимаю вашу поддержку легкомысленно. И я рад, что так много людей в моей сети интересуются искусственным интеллектом.
Информационный бюллетень этого месяца будет посвящен двум конкретным решениям, которые команда DLabs.AI использует (и настоятельно рекомендует). Я также опишу новаторское исследование в области здравоохранения наряду с некоторыми захватывающими разработками Metaverse.
Этот полон деталей; Я надеюсь, вам понравится читать!
TFX — недооцененный инструмент Google, который является самым быстрым путем к MLOps производственного уровня.
Что вы знаете о Tensorflow Extended (TFX)?
Недавно я обнаружил, что существует всего несколько онлайн-руководств по этому инструменту. И кажется, что фреймворк не так широко принят, как того заслуживает.
Это позор, потому что он имеет так много преимуществ и предлагает хорошо структурированный набор лучших практик MLOps от Google, поэтому сегодня я предлагаю вашему вниманию TFX.
Мы можем использовать эту библиотеку для декларативного создания конвейеров машинного обучения. Основное преимущество заключается в том, что по большей части не нужно писать код (кроме фактического кода разработки функций и моделирования), чтобы запустить конвейер.
TFX поставляется с набором компонентов, ориентированных на Google Cloud Platform, которые являются своего рода заменой стандартных компонентов TFX и позволяют пользователю легко использовать возможности распределенного обучения и обслуживания GCP.
У него также есть такие преимущества, как компоненты без кода, которые реализуют многие этапы конвейера ML, отличная поддержка Tensorflow и простое развертывание в облаке, и это лишь некоторые из них.
DLabs.AI недавно использовала TFX для наших конвейеров, поэтому мы исследовали, как применить его к машинному обучению в производственной среде. Мы также решили открыть исходный код, чтобы показать, как применить стандартное отраслевое решение NLP (BERT) к классической проблеме (анализ настроений) с использованием TFX и бессерверной облачной среды развертывания (Vertex AI Pipelines).
Мы подготовили курс, который подробно описывает результаты нашего исследования и включает в себя пошаговое руководство о том, как:
- Создайте модель машинного обучения для анализа настроений с использованием готовых компонентов (BERT)
- Создайте сквозной конвейер MLOps для обучения, оценки и развертывания модели с помощью TFX.
- Разверните указанный конвейер в бессерверной среде Vertex AI Pipelines Google Cloud Platform.
- Предварительный просмотр всех важных артефактов конвейера
После проекта наша команда пришла к выводу, что TFX, вероятно, является самым быстрым способом получения MLOps производственного уровня. Если вы хотите попробовать это, мы не можем рекомендовать это достаточно высоко.
А поскольку наш курс TFX полностью бесплатный и с открытым исходным кодом, это отличное место для начала: https://bit.ly/3Ky0UOJ
Прогнозирование вероятности повторного роста опухоли после лечения у онкологических больных
Фотография: NHS England/PA. Источник: Гардиан
Если вы читали мои предыдущие информационные бюллетени, то заметили, что я внимательно слежу за разработками HealthTech.
На этот раз я не могу не упомянуть недавнее исследование Фонда Royal Marsden NHS Foundation Trust, Института исследования рака в Лондоне и Имперского колледжа Лондона. В нем исследователи разработали инструмент, который может предсказать вероятность повторного роста опухоли у больных раком после лечения.
Для построения модели команда использовала клинические данные 657 пациентов с НМРЛ, проходивших лечение в пяти британских больницах. Затем они добавили данные о прогностических факторах (таких как возраст, пол, ИМТ, курение, интенсивность лучевой терапии и характеристики опухоли), чтобы лучше предсказать вероятность рецидива.
Модель на основе ИИ помогла им классифицировать пациентов по категориям высокого и низкого риска и оценить вероятное время до рецидива — и общие шансы на выживание через два года после лечения.
Инструмент оказался более точным, чем традиционные методы, и результаты были опубликованы в журнале The Lancet eBioMedicine.
Это захватывающее открытие может помочь предотвратить рецидив и снизить тревогу, связанную с риском, что, несомненно, окажет неоценимое влияние на самочувствие и психологию пациентов.
Я надеюсь, что это исследование откроет двери для новых прорывов в области искусственного интеллекта не только в прогнозировании, но и в борьбе с этой опасной болезнью.
Источник: Гардиан
Так вы сократите расходы и улучшите результаты
Независимо от того, насколько развитой может казаться компания снаружи, бизнесу будет сложно масштабироваться, если внутренние системы неэффективны.
Так было в случае с одним из крупнейших операторов магазинов у дома в Польше: сетью с более чем 7500 магазинами и 2,5 млн покупателей, которая боролась с расходами и обслуживанием из-за устаревшей системы.
Что еще хуже, программное обеспечение также использовало чрезмерно сложные многомерные запросы и очень нишевые технологии, поэтому они наняли DLabs, чтобы помочь им решить проблемы, сосредоточив внимание на:
- Миграция ежедневного процесса расчета фактической закупочной цены продуктов у поставщика со старой технологии IBM TM1 на Snowflake.
- Ускорение операций за счет использования онлайн-данных из хранилища данных
- Ускорение обработки данных
- Оптимизация процесса документирования
- Повышение надежности системы
- Упрощение стека технологий, чтобы любой, кто обладает знаниями SQL и деловой хваткой, мог его поддерживать.
Наша команда извлекла сложную бизнес-логику из устаревшей системы, а затем повторно реализовала ее, используя лучшие практики DataOps с DBT, с представлениями и процедурами SQL в Snowflake.
Затем мы настраиваем конвейер CI/CD для воспроизводимости в нескольких средах. И мы сосредоточились на обеспечении того, чтобы весь процесс был задокументирован и версионирован, чтобы другие инженеры могли его использовать и поддерживать.
В результате клиент:
- Снижение затрат за счет перехода от дорогих лицензий к решению на основе Snowflake
- Сокращено время, необходимое для запуска процесса, с ›3 часов до ‹20 минут
- Может обнаруживать и исправлять скрытые ошибки и крайние случаи благодаря подробному анализу существующих процессов.
- Могут воспроизвести процесс в разных средах, то есть развернуть все решение за считанные минуты благодаря полностью автоматизированному конвейеру CI/CD.
Используя лучшие практики DataOps, мы также обеспечили, чтобы система обнаруживала все ошибки (включая ошибки источника данных) как можно раньше с помощью автоматических тестов.
Не стесняйтесь обращаться к нам, если вы хотите обсудить создание аналогичного решения для вашего бизнеса.
Скоро вы сможете поговорить с умершим
В метавселенной нет недостатка в сюрпризах. Недавно мы читали о поклоннике Снуп Догга, который заплатил 450 тысяч долларов, чтобы стать его виртуальным соседом.
Сегодня мир технологий узнал об ошеломляющем проекте «Живи вечно», разрабатываемом Somnium Space: компанией, которая создает способ, с помощью которого люди могут разговаривать со своими близкими даже после смерти.
Исследование, проведенное Nature в октябре 2020 года, показало, как технология виртуальной реальности может идентифицировать кого-то с точностью 95% менее чем за пять минут отслеживания движений человеческого тела.
Теперь Somnium Space хочет собрать данные о внешнем виде, звуке, речи и движениях, чтобы с помощью ИИ воссоздать бессмертное зеркальное отражение с теми же моделями речи и движений умершего.
Решение столь же пугающее, сколь и увлекательное, читая, как научная фантастика оживает.
Источник: Вице
- -
Это все за этот месяц.
Надеюсь, вам понравились выводы :)
Дайте мне знать, что захватило ваше воображение, и если у вас есть какие-либо вопросы, задайте их в комментариях на LinkedIn.
Или не стесняйтесь отправить мне личное сообщение.
Первоначально опубликовано на https://www.linkedin.com.