В этом выпуске FinML мы поговорили с Кевином Штумпфом, основателем Tecton, о Feature Stores и проблемах, которые они решают.

Ключевые выводы из выступления:

  • Одной из задач, которую решает Feature Store, является унификация пакетных и потоковых данных, что позволяет легко вычислять функции, объединяя оба источника данных с использованием архитектуры лямбда-типа.
  • Еще одна проблема, которую решают хранилища функций, заключается в том, что они гарантируют, что значения функций, обслуживаемые в производстве и используемые для обучения, идентичны, и, следовательно, в производстве не возникает перекоса.
  • Специалистам по данным легко создавать наборы данных, которые пропускают информацию из будущего и, таким образом, искусственно улучшают производительность модели. Магазины функций решают эту проблему, предоставляя платформу, которая требует, чтобы люди сами создавали функции.
  • В то время как функции обычно реализуются командой инженеров данных, хранилища функций позволяют специалистам по данным реализовывать функции, тем самым сокращая время доставки.
  • Отсутствие управления метаданными для функций может означать, что работа по проектированию функций дублируется по всей организации или с самого начала не найдены соответствующие наборы данных. Хранилища функций решают эти проблемы, имея выделенный уровень метаданных.
  • Проблемы с качеством данных являются серьезной проблемой для многих конвейеров данных в производственной среде. Хранилища функций позволяют легко отслеживать конвейеры данных, поскольку все они используют общую инфраструктуру.

Презентация в формате pdf

О FinML

FinML — это группа встреч, посвященная применению машинного обучения в финансах. Мы — группа, посвященная обсуждению экономических и статистических концепций, лежащих в основе машинного обучения в реальном мире. Мы твердо верим в дискурс, поэтому наши сессии состоят из 30-минутной презентации и 30-минутной открытой дискуссии. Зарегистрируйтесь здесь, чтобы получать приглашения на все наши встречи, и свяжитесь со мной, если вы заинтересованы в выступлении на мероприятии!