Публикации по теме 'stochastic-gradient'


Престолы машинного обучения: линейная регрессия с использованием градиентного спуска
В нашем последнем посте мы обсуждали, как можно решить задачу линейной регрессии, используя метод закрытой формы, в котором частная производная была приравнена к нулю, чтобы найти значение оптимизированных коэффициентов. Цель этого поста – сначала понять: Зачем линейной регрессии нужен градиентный спуск, когда есть решение в закрытой форме? Глубокое понимание градиентного спуска. Различные типы градиентного спуска. Значение различных типов градиентного спуска в линейной..
Реализация стохастического градиентного спуска с использованием PyTorch
Руководство по реализации стохастического градиентного спуска с использованием PyTorch. В предыдущем уроке здесь по SGD я исследовал способ реализации с использованием Python. Это было сделано с использованием простейших конструкций языка Python. На этот раз я собираюсь использовать некоторые функции библиотеки глубокого обучения PyTorch, чтобы добиться того же. Сначала мы рассмотрим шаги, которым мы следуем для SGD, а затем возьмем один из самых простых возможных тренировочных..
Объяснение обучения линейной регрессии
Линейная регрессия — простая, но элегантная модель. взаимосвязь ввода-вывода прозрачна, команда выполняется быстро, а модель проста в реализации. Неудивительно, что большинство компаний до сих пор используют его. В этой статье мы рассмотрим концепцию обучения линейной регрессии. Это может показаться очень старомодным, но тема, обсуждаемая здесь, может возникнуть на вашем следующем собеседовании в области науки о данных. Что такое линейная регрессия Линейная регрессия — это подход к..
Стохастический градиентный спуск против градиентного спуска — Изучение различий
В мире машинного обучения и оптимизации градиентный спуск и стохастический градиентный спуск — два самых популярных алгоритма для обучения моделей. Но какой из них лучше, и когда вы должны использовать каждый? В этом сообщении блога мы рассмотрим ключевые различия между этими двумя алгоритмами и обсудим их преимущества, недостатки и области применения. К концу у вас должно быть четкое представление о том, какой метод лучше всего подходит для ваших конкретных потребностей. Введение..
Линейная регрессия
.. со стохастическим градиентным спуском Этот код строит простую модель линейной регрессии, основанную на методе стохастического градиентного спуска, для прогнозирования роста сына с учетом роста отца. Здесь мы будем использовать SGDRegressor от scikit-learn. Помните: стохастический градиентный спуск требует настройки таких гиперпараметров, как макс. количество итераций (max_iter), скорость обучения (eta0) и допуск (tol), чтобы добиться сходимости модели регрессии. Точность модели..
ЛИНЕЙНАЯ РЕГРЕССИЯ с градиентным спуском, основной алгоритм машинного обучения.
Когда мы говорим об алгоритмах машинного обучения, первый и самый простой алгоритм, который приходит на ум, - это линейная регрессия. Итак, давайте углубимся в то, что такое линейная регрессия, ее формула, интуиция, преимущества и недостатки. Этот пост не будет подробным введением в линейную регрессию и градиентный спуск, а будет кратким по существу резюме линейной регрессии. Начнем с уравнения линейной регрессии, Чтобы обучить модель линейной регрессии, мы должны найти то..
Оптимизация обучения (SGD) на примерах
Вступление Вся цель оптимизации - минимизировать функцию затрат . Мы узнаем больше об оптимизации в следующих разделах статьи. Пакетный градиентный спуск Здесь мы суммируем все примеры на каждой итерации при выполнении обновлений веса или параметров. Поэтому для каждого обновления весов нам нужно суммировать все примеры. Веса и смещение обновляются в зависимости от градиента и скорости обучения (n). В основном преимущества, когда есть прямая траектория к минимуму, и у нее..