Публикации по теме 'feature-selection'
Выбор функции: применение алгоритмов оптимизации для повышения точности модели
Когда кто-то начинает с машинного обучения, чаще всего он знакомится с мелкомасштабными предварительно обработанными наборами данных, которые обычно имеют небольшое количество связанных с ними атрибутов/функций, но в реальной жизни это не так. Более сложные наборы данных, доступные через Интернет, и настоящие содержат большое количество точек данных и различных связанных с ними атрибутов. Тогда возникает вопрос, зачем собирать такое большое количество атрибутов, а не просто собирать..
Основы машинного обучения: выбор функций (часть 2)
Добро пожаловать назад.
Предыстория того, что именно мы здесь делаем, находится здесь .
Теперь двинемся вперед.
Обратное устранение
Мы будем отбирать компоненты на основе метода обратного исключения .
Что такое обратное исключение ? Это метод сохранения только тех функций, которые важны для набора данных, т. Е. С учетом того, что эти функции вносят существенные изменения в зависимую переменную .
Вот как работает этот алгоритм:
Выберите уровень значимости . Совместите..
Выбор функций в машинном обучении: обзор методов
Методы фильтрации выбирают функции независимо от алгоритма машинного обучения и обычно оценивают саму функцию или с учетом переменной, которую мы хотим предсказать. Методы фильтрации вообще не учитывают взаимодействие с другими признаками, за исключением методов корреляции по тому, какой смысл вы от дубликата. Таким образом, методы фильтрации, о которых мы говорили, очень эффективны в вычислительном отношении. Однако они, как правило, не обеспечивают оптимального подмножества функций..
Выбор функций: как отбросить 95% ваших данных и получить 95% точности
Выбор функции - это фундаментальный шаг в конвейере данных. Пример? В наборе данных MNIST вам нужно всего 40 пикселей (из 784), чтобы получить более 95% точности (99% ROC).
1. Почему выбор функций?
Вы можете распознать эти рукописные цифры?
У вас, вероятно, не было проблем с определением соответственно 0, 3 и 8.
Если это так, вы смогли правильно классифицировать их, даже если было показано только 25% исходного изображения, а остальные 75% были покрыты красными пикселями...
Выбор функции
| Создание конвейера машинного обучения: часть 3
Выбор функций из множества переменных может не только улучшить производительность, но и существенно сократить время обучения, а также значительно упростить интерпретацию модели.
Это третья статья из серии "Создание конвейера машинного обучения", продолжающая упомянутые ниже статьи:
Часть 1: Строительные блоки трубопровода машинного обучения
Часть 2: Считывание данных для разработки функций
1) Введение
Поскольку я..
Применение дарвиновской эволюции к выбору признаков с помощью Kydavra GeneticAlgorithmSelector
Математика почти всегда дает хороший ответ на вопросы, связанные с выбором функций. Однако иногда старые добрые алгоритмы грубой силы могут принести в игру лучший и более практичный ответ.
Генетические алгоритмы — это семейство алгоритмов, вдохновленных биологической эволюцией, которые в основном используют цикл — скрещиваться, мутировать, пробовать, вырабатывая наилучшую комбинацию состояний в зависимости от оценочной метрики. Итак, приступим к коду.
Использование..
Улучшение ваших моделей классификации с помощью необходимых статистических тестов.
Достижение лучших характеристик с помощью исследовательского анализа данных можно улучшить с помощью статистических методов для принятия решений. Эти статистические тесты не только дают лучшие характеристики, но и дают пользователю представление о том, какой прогресс был достигнут для получения хорошего набора данных. Здесь мы собираемся обсудить некоторые из наиболее полезных статистических тестов, применимых к моделям классификации.
Давайте возьмем пример набора данных о раке груди в..
