Введение Создание надежных и воспроизводимых систем машинного обучения в производственной среде — сложная задача, которая включает в себя множество аспектов, помимо разработки модели машинного обучения. Среди них контроль качества данных является важным компонентом для получения высококачественных моделей и прогнозов. Анализ качества данных или проверки данных включает в себя выявление несоответствий данных и ошибок (таких как отсутствующие поля или значения), непоследовательного..

Большие надежды становятся нативными для Kubernetes Недавно на работе мы обсуждали, как будет выглядеть конвейер машинного обучения нашей мечты. В качестве фонового исследования мы наткнулись на пакет Большие надежды , который выглядит очень многообещающе в качестве шага проверки данных в нашем пайплайне. В этой статье я собираюсь изучить использование Great Expectations как части рабочего процесса Argo для запуска проверки данных во время предварительной обработки данных. Отказ от..

Почти все задачи машинного обучения зависят от данных в той или иной форме. Чтобы генерировать высококачественные данные, командам специалистов по обработке и анализу данных необходим прямой доступ к данным и четкое понимание каждого актива данных. Качество данных является неотъемлемой частью успешного развертывания моделей машинного обучения. В Provectus мы понимаем важность качественных данных . В нашей структуре качества данных мы используем комбинацию Pandas Profiling (PP) для..

Введение в "Большие надежды" Что такое большие надежды? Great Expectations - отличный инструмент, который мы можем использовать для автоматического тестирования наших данных. Его можно использовать на этапе предварительной обработки наших данных или на любом этапе, если вы чувствуете необходимость проверить их правильность. Цитата из команды Большие надежды : Great Expectations помогает командам экономить время и способствовать аналитической целостности, предлагая..