Наука о данных — это модное слово, которое в последние несколько лет стало популярным в технологической индустрии. Что происходит в проекте по науке о данных? Просто дается постановка задачи и применяется модель к данным, чтобы получить желаемое решение? Что ж, это частично верно.
Итак, чтобы прояснить эти концепции, давайте рассмотрим процесс того, что происходит сразу после постановки задачи в проекте по науке о данных.
Можно найти разные объяснения процесса науки о данных, он меняется в зависимости от типа проекта, организации и самого восприятия того, как проблема может быть решена. Следует отметить, что в этом процессе может участвовать не только один человек, но и люди с разных должностей, такие как аналитик данных, инженер данных, инженер по машинному обучению и специалист по данным.
Фаза 1: Понимание проблемы
Эта фаза связана с небольшими важными действиями, такими как обнаружение проблемы, понимание проблемы и последующее формулирование проблемы. Задаются вопросы и проверяются гипотезы, чтобы найти оптимальное решение.
Для большинства формулировок задач в науке о данных это граница, на которой бизнес-задача превращается в проблему, ориентированную на данные (Обнаружение и анализ наборов данных).
Фаза 2: Сбор данных и обработка
После понимания постановки задачи следующим шагом будет сбор данных. Данные собираются в необработанном виде, что означает наличие пропущенных значений, дубликатов, неправильных записей и ошибок домена в собранных данных. Эти данные следует очистить и обработать в соответствии с требованиями постановки задачи. Если вы используете Python для проекта, панды должны быть вашей волшебной палочкой на этом этапе обработки данных.
Фаза 3: Исследовательский анализ данных
Собранные данные не всегда говорят сами за себя. Но когда в картину вносятся статистика и визуализация, это творит чудеса. Этот этап во многом связан с выявлением скрытых закономерностей в данных — описательный анализ. Визуализация говорит сама за себя. Анализ тенденций данных является одним из наиболее важных шагов в этом процессе, потому что этот анализ прямо пропорционален тому, что вы сделаете на основе данных, и какую модель вы планируете использовать на данных. Используемые инструменты (Python: matplotlib, пакеты plotly), (Tableau).
Фаза 4: Планирование и построение модели
Здесь информация, собранная из EDA, используется для установления связей между факторами в данных, которые можно использовать для создания прогностической модели. Этот шаг служит основой для построения модели. Затем строится модель для предиктивного анализа данных, в котором используются определенные алгоритмы машинного обучения, такие как регрессия, классификация, кластеризация и т. д. sklearn, Tensorflow и PyTorch чаще всего используются для построения моделей.
Этап 5: Развертывание модели
Итак, теперь построенная модель запускается на разных наборах данных для обучения и тестирования, что должно помочь в выявлении проблем с недообучением и переоснащением модели машинного обучения. Если все в порядке, модель используется в качестве прогностической модели для достижения целей, поставленных на самом первом этапе понимания проблемы.
И, очевидно, процесс не заканчивается после этих 5 основных фаз... он может циклически повторяться в зависимости от ситуаций, требующих определенной обработки данных или улучшения модели.
Ссылки по теме :
Сентиментальный анализ твитов, связанных с вакциной против Covid
