Подход Data Science — стратегии и советы, которые помогут вам начать работу
Как профессионалы в области технологий, мы постоянно стремимся расширять границы инноваций, применяя наши навыки для улучшения продукта или услуги в наших соответствующих организациях. Наука о данных, одна из самых быстрорастущих областей в последнее время, использует научные методы, процессы, алгоритмы и системы для извлечения информации из данных. Будучи студентом по аналитике данных в Университете Колорадо в Боулдере, я участвовал в проектах по машинному обучению, которые позволили мне управлять жизненным циклом аналитики. После получения степени магистра я нашел 4 ключевых шага, которые могут быть полезны специалистам по данным, чтобы получать расширенные прогнозы на основе своих моделей. Если вы интересуетесь областью аналитики и хотели бы понять, как формировать свои проекты по науке о данных в академической или рабочей среде, я настоятельно рекомендую вам прочитать эту статью, чтобы начать свое аналитическое путешествие.
- Определите основную бизнес-проблему
Прежде чем приступить к анализу любого набора данных, важно понять, какова наша конечная цель. Какую проблему мы пытаемся решить с помощью данных? Пытаемся ли мы делать прогнозы о наших клиентах или, может быть, представляем новую линейку продуктов для нашего бизнеса? Чаще всего мы увязаем в попытках найти лучшую модель для нашего анализа, не понимая по-настоящему основную проблему бизнеса. Как только мы определим проблему, которую собираемся решить с помощью анализа данных, у нас появится более четкое представление о шагах, которые необходимо предпринять, чтобы убедиться, что мы на правильном пути.
2. Выберите подходящие данные
Прежде всего, чтобы решить любую бизнес-задачу с помощью анализа данных, нам необходимо убедиться, что данные, которые у нас есть, являются правильными. Это начинается с анализа функций или столбцов, которые существуют в наших данных. Функция — это измеримое свойство объекта, который вы пытаетесь проанализировать. Их также обычно называют «переменными» или «атрибутами» в наборе данных. Например, набор данных, содержащий информацию о клиенте, будет иметь такие функции, как имя, возраст и пол. Качество функций в вашем наборе данных оказывает большое влияние на качество выводов, которые можно получить при использовании этих данных для машинного обучения. Вы можете улучшить качество своих функций с помощью таких методов, как выбор функций и разработка функций, но важно начать с начального набора соответствующих функций, которые можно проанализировать.
3. Предварительно обработайте свои данные
Если набор необработанных данных сразу же добавляется в модель машинного обучения, велика вероятность, что прогнозы могут быть очень неточными. Модели машинного обучения строятся на алгоритмах, которые изучают закономерности в данных, для чего требуется предварительно обработанный набор данных. Чем безошибочнее будут данные, тем точнее получатся модели. Вот 3 важных подэтапа предварительной обработки, которые следует учитывать перед этапом моделирования:
- Очистка данных: обработка пропущенных значений, удаление зашумленных/бессмысленных данных.
- Преобразование данных: нормализация числовых переменных, создание новых атрибутов из существующих функций и создание иерархии концепций.
- Сокращение данных. Это уменьшает размер данных с помощью методов кодирования. Двумя наиболее эффективными методами уменьшения размерности являются анализ основных компонентов и вейвлет-преобразования.
4. Визуализируйте свои данные
Визуализация данных — отличный способ понять любые существующие отношения или шаблоны в наших функциях. Диаграммы рассеивания, гистограммы, гистограммы и графики корреляции — одни из моих любимых способов предоставления описательной аналитики по функциям. Основываясь на приведенной ниже панели инструментов Tableau, мы можем отметить, что в Атланте самое долгое время задержки, а летние месяцы, как правило, самые загруженные. Информация, полученная в результате визуализации данных, помогает нам глубже погрузиться в нашу бизнес-проблему, отмечая точки данных и функции, которые оказывают большее влияние.
В целом, эти методы являются сильными сторонами, которые следует учитывать при запуске проектов машинного обучения. Будучи студентом, изучающим аналитику данных, я добился успеха в своих академических проектах, применяя эти методы до этапа моделирования. Они ни в коем случае не являются абсолютно необходимыми, однако, если следовать этим предварительным рекомендациям, вы можете ожидать лучших результатов от своих моделей в будущем.
