«S-образная функция»

Что такое сигмоид?

Сигмовидная функция, также называемая логистической функцией, традиционно является очень популярной функцией активации для нейронных сетей.

Что делает сигмоид?

Sigmoid принимает реальное значение в качестве входных данных и преобразует его для вывода другого значения между 0 и 1.Входные данные, которые намного больше 1, преобразуются в значение 1, аналогичным образом значения, намного меньшие 0, привязываются к 0 .

Кто изобрел сигмоид?

Сигмовидная функция была представлена ​​в серии из трех статей Пьера Франциоса Ферхюльста между 1838 и 1847 годами, который разработал ее как модель роста населения путем корректировки модели экспоненциального роста. под руководством Адольфа Кетле.

Как выглядит сигма?

Форма функции для всех возможных входных данных представляет собой S-форму от 0,0 до 0,5 и до 1,0.

Сигмовидная функция:

S представляет сигмовидную функцию, а z представляет число, для которого необходимо вычислить сигмовидную

Производная сигмовидной функции:

Реализация

импорт matplotlib.pyplot как plt

импорт numpy какnp

импортировать математику

x = np.linspace(-10, 10, 100) # Ось X, начиная с -10 до 10

z = 1/(1 + np.exp(-x)) #Формула сигмовидной функции

y = z*(1-z) # Производная сигмовидной функции

plt.plot(x, z)

plt.xlabel («х»)

plt.ylabel («Сигмоид (X)»)

plt.show()

Выход:

Почему даже?

Долгое время, вплоть до начала 1990-х годов, это была функция активации по умолчанию, используемая в нейронной сети. С ним легко работать, и он обладает всеми прекрасными свойствами функций активации! Значение, это:

  1. является нелинейным.
  2. непрерывно дифференцируема.
  3. является монотонным.
  4. имеет фиксированный выходной диапазон.

Каковы ограничения?

  1. Это приводит к проблеме исчезающих градиентов.
  2. На любом конце сигмовидной функции значения Y, как правило, меньше реагируют на изменения X.
  3. Его выходные данные не центрированы по нулю. Из-за этого обновления градиента заходят слишком далеко в разных направлениях.
  4. Это усложняет оптимизацию
  5. Сеть иногда отказывается обучаться дальше или работает очень медленно.
  6. Сигмоиды насыщают и убивают градиенты.

Узнайте больше о сигмовидной на:

Функции активации в глоссарии машинного обучения (ml-cheatsheet.readthedocs.io).

Сигмовидная функция: Википедия