Стандартизация до или после категориального кодирования?

Вроде открытая проблема, поэтому я хотел бы ответить, хотя уже поздно. Я также не уверен, насколько это повлияет на сходство между векторами, но по моему практическому опыту вы должны сначала кодировать свои функции, а затем масштабировать их. Я пробовал обратное с помощью scikit learn preprocessing.StandardScaler(), и это не сработает, если ваши векторы функций не имеют одинаковой длины: scaler.fit(X_train) дает ValueError: setting an array element with a sequence. Из вашего описания я вижу, что ваши данные имеют фиксированное количество функций, но я думаю для обобщения целей (может быть, в будущем у вас появятся новые функции?), хорошо предположить, что каждый экземпляр данных имеет уникальную длину вектора признаков. Например, я преобразую свои текстовые документы в индексы слов с помощью Keras text_to_word_sequence (это дает мне различную длину вектора), затем я конвертирую их в горячие векторы, а затем стандартизирую их. На самом деле я не заметил значительных улучшений в стандартизации. Я думаю, вам также следует пересмотреть, какие из ваших функций стандартизировать, поскольку макеты могут не нуждаться в стандартизации. Здесь не похоже, что категориальные атрибуты нуждаются в какой-либо стандартизации или нормализации. K-ближайшие соседи зависят от расстояния, поэтому на него могут повлиять эти методы предварительной обработки. Я бы посоветовал попробовать либо стандартизацию, либо нормализацию и проверить, как разные модели реагируют на ваш набор данных и задачу.

После. Представьте себе, что в вашем столбце есть не числовые переменные, а строки. Строки нельзя стандартизировать, верно? :)

Но учитывая то, что вы писали о категориях. Если они представлены значениями, я полагаю, что внутри есть какое-то ранжирование. Вероятно, вы можете использовать необработанный столбец, а не с горячим кодированием. Просто мысли.

Обычно вы хотите стандартизировать все свои функции, чтобы это было сделано после кодирования (это предполагает, что вы хотите стандартизировать с самого начала, учитывая, что есть некоторые алгоритмы машинного обучения, которые не нуждаются в стандартизации функций для правильной работы).

Таким образом, существует 50/50 голосов по вопросу стандартизации данных. Я бы посоветовал, учитывая положительные эффекты с точки зрения улучшений, независимо от того, насколько малы и отсутствуют побочные эффекты, перед разделением и обучением оценщика следует провести стандартизацию.