Кодирование — важная часть разработки функций, но что это такое?
Кодирование в разработке признаков относится к процессу преобразования категориальных переменных (то есть переменных, которые могут принимать ограниченное количество значений) в числовые переменные, которые можно использовать в моделях машинного обучения. Это сделано потому, что большинство моделей машинного обучения предназначены для работы с числовыми данными и не могут напрямую обрабатывать категориальные данные. Существует несколько различных методов кодирования категориальных переменных, включая горячее кодирование, порядковое кодирование и двоичное кодирование.
Существуют различные типы кодирования в Feature Engineering.
Существует несколько типов кодирования, используемых в разработке признаков для преобразования категориальных переменных в числовые:
Горячее кодирование. Этот метод создает новую двоичную переменную для каждой уникальной категории в категориальной переменной. Новые переменные принимают значение 1, когда исходная переменная равна этой категории, и 0 в противном случае.
Порядковое кодирование. Этот метод присваивает целочисленное значение каждой категории в категориальной переменной. Целые числа обычно присваиваются в порядке частотности категорий или в алфавитном порядке.
Двоичное кодирование. Этот метод кодирует категориальные переменные в виде двоичных чисел. Это похоже на порядковое кодирование, но вместо целых чисел используется двоичное представление этих целых чисел.
Другие методы
- Кодировка подсчета. Этот метод заменяет категориальные переменные подсчетом каждой категории в наборе данных.
- Целевое кодирование. Этот метод заменяет категориальную переменную средним значением целевой переменной для каждой категории в наборе данных.
- Кодировка Гельмерта. Этот метод используется для кодирования категориальных переменных, имеющих порядковое отношение. Этот метод создает новую переменную, которая представляет собой разницу между средним значением цели для каждого уровня и средним значением цели для предыдущего уровня.
- Пропустить одну кодировку. Этот метод заменяет категориальные переменные средним значением цели для всех выборок, кроме текущего наблюдения.
Важно отметить, что лучший метод кодирования зависит от конкретного набора данных и используемой модели машинного обучения.
Как можно закодировать категориальные и числовые данные?
Категориальные данные могут быть закодированы с использованием различных методов, таких как однократное кодирование, порядковое кодирование и двоичное кодирование. Числовые данные могут быть закодированы с использованием таких методов, как нормализация и стандартизация.
- В One-Hot Encoding категориальный признак преобразуется в несколько бинарных признаков, где каждый признак представляет уникальное значение категории.
- В порядковом кодировании категориальному признаку присваиваются числовые значения на основе категориального порядка или рейтинга.
- В Двоичном кодировании категориальные признаки преобразуются в несколько двоичных признаков путем кодирования каждой цифры значения категории как отдельного признака.
- Нормализация включает масштабирование числовых данных до определенного диапазона, обычно от 0 до 1, чтобы все функции имели одинаковый масштаб.
- Стандартизация включает преобразование числовых данных таким образом, чтобы их среднее значение равнялось 0, а стандартное отклонение равнялось 1. Это полезно, когда данные имеют асимметричное распределение.
Можно ли улучшить модели машинного обучения с помощью кодирования?
В машинном обучении кодирование является важным этапом предварительной обработки данных, поскольку оно помогает модели лучше понять взаимосвязь между функциями и целевой переменной. Кодирование особенно важно для категориальных и порядковых признаков, поскольку большинство алгоритмов машинного обучения предназначены для работы с числовыми данными.
Путем кодирования категориальных и порядковых признаков модель может рассматривать каждую категорию как отдельный объект и фиксировать любые шаблоны или отношения между категориями и целевой переменной. Это, в свою очередь, помогает повысить точность и производительность модели.
В дополнение к повышению производительности модели кодирование также помогает предотвратить систематическую ошибку и переоснащение. Например, при использовании One-Hot Encoding каждая категория обрабатывается как отдельный объект, что снижает риск переобучения за счет исключения предположения о линейной зависимости между категориями.
В целом, кодирование играет решающую роль в подготовке данных для использования в модели машинного обучения и может существенно влиять на точность и производительность модели.
Как реализовать One-Hot и Binary Encoding в коде?
Вот пример кода на Python, использующего библиотеку category_encoders для выполнения One-Hot и Binary Encoding для категориального признака:
Кодировщик One_Hot
import pandas as pd
from sklearn.preprocessing import OneHotEncoder
# Sample data
data = {'color': ['red', 'green', 'blue', 'yellow']}
df = pd.DataFrame(data)
# Create an instance of the OneHotEncoder
encoder = OneHotEncoder(handle_unknown='ignore')
# Fit and transform the OneHotEncoder on the 'color' feature
one_hot = encoder.fit_transform(df[['color']])
# The resulting array can be converted into a dataframe for easier analysis
one_hot_df = pd.DataFrame(one_hot.toarray(), columns=encoder.get_feature_names(['color']))
# The original dataframe can be concatenated with the one_hot_df for use in a machine learning model
df = pd.concat([df, one_hot_df], axis=1)
print(df)
Двоичный кодировщик
import pandas as pd
import category_encoders as ce
# Sample data
data = {'color': ['red', 'green', 'blue', 'yellow']}
df = pd.DataFrame(data)
# Create an instance of the BinaryEncoder
encoder = ce.BinaryEncoder(cols=['color'])
# Fit and transform the BinaryEncoder on the 'color' feature
df = encoder.fit_transform(df)
print(df)
Основное различие между горячим кодированием и двоичным кодированием?
Горячее кодирование и двоичное кодирование — это два распространенных метода, используемых для численного представления категориальных данных в модели машинного обучения. Основное различие между ними заключается в количестве столбцов, которые они создают для каждой категориальной функции.
Горячее кодирование создает один столбец для каждого уникального значения категории, где каждый столбец представляет собой двоичное значение, указывающее на наличие или отсутствие определенной категории. В результате получается разреженная матрица с множеством столбцов, но каждый столбец представляет уникальную и отдельную категорию.
Двоичное кодирование, с другой стороны, представляет значение каждой категории в виде двоичного кода, где каждая цифра двоичного кода представлена в виде отдельного столбца. Это приводит к гораздо меньшему количеству столбцов по сравнению с One-Hot Encoding, но столбцы могут быть сложнее интерпретировать.
В общем, One-Hot Encoding предпочтительнее, когда имеется небольшое количество уникальных категорий, поскольку для каждой категории создается отдельный и отличный столбец. Двоичное кодирование предпочтительнее при наличии большого количества категорий, поскольку оно уменьшает количество создаваемых столбцов и помогает уменьшить размерность.
В конечном счете выбор между горячим кодированием и двоичным кодированием будет зависеть от конкретного варианта использования и характера категориальных данных.
Краткое содержание
Кодирование — важный шаг в процессе разработки функций модели машинного обучения. Он используется для численного представления категориальных и порядковых данных, чтобы модель могла лучше понять взаимосвязь между функциями и целевой переменной. Существует несколько доступных методов кодирования, в том числе One-Hot Encoding, Binary Encoding и другие, и выбор того, какой метод использовать, будет зависеть от конкретного варианта использования и характера данных.
Кодируя категориальные и порядковые признаки, модель может рассматривать каждую категорию как отдельный объект и фиксировать любые шаблоны или отношения между категориями и целевой переменной. Это, в свою очередь, помогает повысить точность и производительность модели.
Важно иметь в виду, что кодирование — это всего лишь один шаг в процессе разработки признаков, и что другие этапы предварительной обработки, такие как нормализация, масштабирование и выбор признаков, также могут быть необходимы для подготовки данных для использования в модели машинного обучения.
Если вам нравятся мои заметки, поддержите меня, чтобы я делал больше таких заметок.
Итак, скоро появится новая тема.
Найдите меня здесь:
👉 GitHub: https://github.com/Birjesh786
👉 Linkedin: https://www.linkedin.com/in/brijeshsoni007/
👉 Сводка профиля: https://sonibri786.wixsite.com/brijeshsoni
