Специалисты по данным часто используют различные аналитические структуры в зависимости от конкретной проблемы, которую они пытаются решить, или типа проводимого анализа. Вот три наиболее часто используемых фреймворка в области науки о данных:
1.) CRISP-DM (межотраслевой стандартный процесс интеллектуального анализа данных): CRISP-DM — это широко распространенная структура, обеспечивающая структурированный подход к проектам интеллектуального анализа данных и аналитики. Он состоит из шести фаз:
а. Понимание бизнеса: понимание целей, требований и ограничений проекта с точки зрения бизнеса.
б. Понимание данных: изучите и ознакомьтесь с доступными данными, определите проблемы с качеством данных и определите актуальность данных.
в. Подготовка данных: выберите, очистите, интегрируйте и преобразуйте данные, чтобы сделать их пригодными для анализа.
д. Моделирование: выберите и примените соответствующие методы моделирования, такие как алгоритмы машинного обучения, для построения прогностических или описательных моделей.
е. Оценка: Оцените производительность моделей и их эффективность в достижении целей проекта.
ф. Развертывание: разверните модели в производственных системах и интегрируйте их в бизнес-процессы. Контролируйте и поддерживайте модели с течением времени.
2.) OSEMN (получить, очистить, изучить, смоделировать, интерпретировать): OSEMN — это структура науки о данных, популяризированная книгой Python для анализа данных Уэса МакКинни. Он обеспечивает последовательный подход к проектам анализа данных:
а. Получение: сбор необходимых данных из различных источников, включая базы данных, API или файлы.
б. Очистка: очистка и предварительная обработка данных, обработка пропущенных значений, устранение выбросов и обеспечение качества данных.
в. Исследуйте: выполняйте исследовательский анализ данных (EDA), чтобы понять данные, выявить закономерности, корреляции и получить ценную информацию.
д. Модель: создавайте прогностические или описательные модели, используя машинное обучение или статистические методы, в зависимости от целей проекта.
е. Интерпретировать. Интерпретируйте результаты модели, оцените производительность модели и сделайте важные выводы и выводы.
3.) TDSP (процесс групповой обработки данных): TDSP — это платформа, разработанная Microsoft для совместных проектов по обработке данных. Он подчеркивает сотрудничество, воспроизводимость и итеративную разработку. Структура включает в себя следующие этапы:
а. Понимание бизнеса: понять бизнес-проблему и определить цели проекта.
б. Сбор и понимание данных. Получите и изучите данные, выявите проблемы с качеством данных и получите более глубокое понимание данных.
в. Моделирование: разработка и уточнение моделей с использованием различных алгоритмов и методов. Оцените и настройте модели для повышения производительности.
д. Развертывание: разверните модели в производственных системах, создайте API или интерфейсы и интегрируйте их в бизнес-среду.
е. Принятие заказчиком: проверьте развернутое решение с заинтересованными сторонами и пользователями. Соберите отзывы и внесите необходимые улучшения.
ф. Эксплуатация: Мониторинг и обслуживание развернутого решения, отслеживание производительности и внесение обновлений или улучшений по мере необходимости.
Эти фреймворки обеспечивают структурированный подход к проектам по науке о данных, гарантируя, что специалисты по данным следуют систематическому и организованному процессу от определения проблемы до развертывания. Однако важно отметить, что выбор платформы может варьироваться в зависимости от организации, требований проекта и предпочтений команды специалистов по обработке и анализу данных.
