Публикации по теме 'feature-selection'
Все методы выбора функций, которые должен знать каждый специалист по данным в 2022 году
1.
Filter methods (Constant feature,Quasi constant featur,Duplication feature,correleation,feature importance,chisquare test,Ttest,vif,anova test,mutal information,hypothesis test,information gain,Univariate Selection Methods,SelectKBest,SelectPercentile,Variance threshold,Fisher’s Score etc...)
2.
Wrapper methods (recursive feature eliminiation,SelectKbest,boruta,forward feature selection,backward feature elimination,Bi-directional selection,exhaustic feature selection,stepwise..
Выбор признаков с регрессией лассо
Выбор признаков с регрессией лассо
Самое краткое и простое руководство по выбору признаков с помощью регрессии Лассо в Python.
Лассо-регрессия для выбора признаков?
Пытаясь минимизировать функцию стоимости, регрессия Лассо автоматически выбирает те функции, которые полезны, отбрасывая бесполезные или избыточные функции. В регрессии Лассо отбрасывание признака сделает его коэффициент равным 0. Кроме того, регрессия Лассо делает модель более обобщаемой для невидимых выборок...
Выбор функций с использованием подхода голосования
Как применять различные методы для выбора функций с помощью пакета Xverse.
Выбор функций - это процесс, при котором вы автоматически или вручную выбираете те функции, которые больше всего влияют на вашу прогнозируемую переменную или выходные данные, которые вас интересуют. Одна из основных причин заключается в том, что машинное обучение следует правилу «мусор вывозить» , и поэтому вам нужно очень заботиться о функциях, которые скармливается модели.
Наличие нерелевантных функций..
Выбор функций в предварительной обработке данных
Уровень статьи: Расширенный
Мои клиенты часто спрашивают меня об особенностях тех или иных методов предварительной обработки данных, зачем они нужны и когда их использовать. Я расскажу о нескольких распространенных (и не очень) методах предварительной обработки в серии статей на эту тему.
В этой серии о предварительной обработке:
Стандартизация данных — Краткое объяснение — для начинающих Нормализация данных — Краткое объяснение — для начинающих Горячее кодирование —..
«Отфильтровывание ненужных функций: всесторонний обзор методов на основе фильтров для функций…
выбор функций помогает определить наиболее важные функции в наборе данных и удалить шум или ненужную информацию. Этот процесс может помочь уменьшить проклятие размерности, которое относится к проблеме работы с многомерными наборами данных, что может привести к переоснащению и низкой производительности моделей машинного обучения. Сокращая количество функций, выбор функций может повысить точность и эффективность моделей машинного обучения, а также сделать их более интерпретируемыми и..
Методы борьбы с переоснащением
1. Перекрестная проверка
Во время обучения алгоритма часть набора данных используется для проверки производительности модели (это отличается от набора данных для тестирования, который используется после завершения обучения). Этот процесс называется перекрестной проверкой.
Очень популярным типом перекрестной проверки является K-кратная перекрестная проверка, при которой в самих обучающих данных выполняется K-кратное тестирование. Здесь можно использовать среднюю точность K итераций..
Машинное обучение выбора функций
Выбор функций — это метод, с помощью которого мы выбираем наиболее релевантную или важную функцию в нашем наборе данных, которая будет использоваться алгоритмом машинного обучения.
Используя методы выбора функций, мы можем отказаться от ненужных функций, повысив производительность и уменьшив сложность алгоритма.
Выбор признаков отличается от уменьшения размерности, поскольку он не вводит новую преобразованную ось в наши данные. Это просто дает нам атрибут «да» или «нет» для конкретной..
