Публикации по теме 'optimization-algorithms'


Сходимость градиентного спуска при приближенных градиентах
Изучение градиентного спуска с ограниченными ошибками градиента Оптимизация — увлекательная область с множеством применений, особенно в наши дни с машинным обучением (ML). Как известно тем, кто занимается машинным обучением, варианты градиентного спуска были одними из наиболее распространенных методов оптимизации, используемых для обучения моделей всех видов. Для очень больших наборов данных стохастический градиентный спуск был особенно полезен, но за счет большего количества итераций для..
Влияние больших партий
Мои заметки по глубокому обучению Привет, сегодня утро среды, и я поделюсь своими личными заметками о больших партиях в глубоком обучении. Почитайте две мои предыдущие статьи на эту тему: https://medium.com/@mastafa.foufa/influence-of-large-batches-5f1d8a00891c https://medium.com/@mastafa.foufa/influence-of-large-batches-ba0ad9894f11 Мой основной ресурс здесь: О БОЛЬШОПАРТНОМ ОБУЧЕНИИ ДЛЯ ГЛУБОКОГО ОБУЧЕНИЯ: ПРОБЕЛ ОБОБЩЕНИЯ И РЕЗКИЙ МИНИМУМ В прошлой статье мы..
Средство решения судоку с Python : методический подход к оптимизации алгоритмов[часть 3]
Это третья и последняя из серии статей, посвященных популярной игре судоку. В частности, как мы можем создать сценарий для автоматического решения головоломок судоку с рекурсией и, следовательно, улучшить его производительность. В этой заключительной статье мы покажем окончательные дополнения к нашему алгоритму для завершения перехода от полностью рекурсивного решения к гибридному решению, которое допускает рекурсию только тогда, когда мы не можем получить новые значения из информации, уже..
Разница между двумя оптимизаторами
СГД и Адам SGD (стохастический градиентный спуск) и Adam (адаптивная оценка момента) — это алгоритмы оптимизации, обычно используемые в машинном обучении для обновления параметров модели во время обучения. Однако между ними есть несколько ключевых отличий: Правило обновления: SGD обновляет параметры модели, используя градиент функции потерь по отношению к параметрам. Правило обновления: param = param - learning_rate * gradient Адам, с другой стороны, использует комбинацию..
Ранняя остановка в полиномиальной регрессии
Использование техники глубокого обучения для борьбы с переобучением простой модели линейной регрессии. Я тестировал пример с сайта scikit-learn , который демонстрирует проблемы недостаточного и переобучения, а также то, как мы можем использовать линейную регрессию с полиномиальными функциями для аппроксимации нелинейных функций, согласно статье. Ниже представлена ​​измененная версия этого кода. Degree: 1 Coefficients: [-1.60931179] Degree: 4 Coefficients: [ 0.46754142..
Методы оптимизации машинного обучения
В этом сообщении блога я расскажу о нескольких популярных методах оптимизации, связанных с обучением эффективных моделей машинного обучения. Целью этих методов является получение оптимальных значений параметров, что позволяет модели делать точные прогнозы. 1. Масштабирование функций Масштабирование объектов — это метод предварительной обработки, обеспечивающий преобразование всех входных объектов в одинаковый масштаб. Это помогает алгоритму оптимизации быстрее сходиться и..
Теория Вапника – Червоненкиса, объяснение
Как машины учатся и почему это важно Скорее всего, вы использовали эту формулу хотя бы один раз во время своего путешествия по машинному обучению: Если да, то вы, вероятно, уже понимаете причину этой проблемы оптимизации и то, что она каким-то образом помогает машинам приобретать новые навыки. Но задумывались ли вы когда-нибудь, откуда оно взялось? Почему он позволяет учиться на обучающем наборе и обобщать невидимые данные? Почему больший тренировочный сет приносит лучшие..