«S-образная функция»
Что такое сигмоид?
Сигмовидная функция, также называемая логистической функцией, традиционно является очень популярной функцией активации для нейронных сетей.
Что делает сигмоид?
Sigmoid принимает реальное значение в качестве входных данных и преобразует его для вывода другого значения между 0 и 1.Входные данные, которые намного больше 1, преобразуются в значение 1, аналогичным образом значения, намного меньшие 0, привязываются к 0 .
Кто изобрел сигмоид?
Сигмовидная функция была представлена в серии из трех статей Пьера Франциоса Ферхюльста между 1838 и 1847 годами, который разработал ее как модель роста населения путем корректировки модели экспоненциального роста. под руководством Адольфа Кетле.
Как выглядит сигма?
Форма функции для всех возможных входных данных представляет собой S-форму от 0,0 до 0,5 и до 1,0.
Сигмовидная функция:
S представляет сигмовидную функцию, а z представляет число, для которого необходимо вычислить сигмовидную
Производная сигмовидной функции:
Реализация
импорт matplotlib.pyplot как plt
импорт numpy какnp
импортировать математику
x = np.linspace(-10, 10, 100) # Ось X, начиная с -10 до 10
z = 1/(1 + np.exp(-x)) #Формула сигмовидной функции
y = z*(1-z) # Производная сигмовидной функции
plt.plot(x, z)
plt.xlabel («х»)
plt.ylabel («Сигмоид (X)»)
plt.show()
Выход:
Почему даже?
Долгое время, вплоть до начала 1990-х годов, это была функция активации по умолчанию, используемая в нейронной сети. С ним легко работать, и он обладает всеми прекрасными свойствами функций активации! Значение, это:
- является нелинейным.
- непрерывно дифференцируема.
- является монотонным.
- имеет фиксированный выходной диапазон.
Каковы ограничения?
- Это приводит к проблеме исчезающих градиентов.
- На любом конце сигмовидной функции значения Y, как правило, меньше реагируют на изменения X.
- Его выходные данные не центрированы по нулю. Из-за этого обновления градиента заходят слишком далеко в разных направлениях.
- Это усложняет оптимизацию
- Сеть иногда отказывается обучаться дальше или работает очень медленно.
- Сигмоиды насыщают и убивают градиенты.
Узнайте больше о сигмовидной на:
Функции активации в глоссарии машинного обучения (ml-cheatsheet.readthedocs.io).
Сигмовидная функция: Википедия