Активация: Сигмоид
В вычислительных сетях функции активации играют ключевую роль, определяя выход узла при заданном входе или наборе входов. В области искусственных нейронных сетей (ИНС) функция Sigmoid — это именно то, что нужно. Это форма функции активации для искусственных нейронов. Ее также называют передаточной функцией, но ее не следует путать с передаточной функцией линейной системы.
Существует несколько типов функций активации — список которых есть в Википедии. Наиболее простой формой функции активации является бинарная ступенчатая функция. Сигмоид — это частный случай логистической функции. Каждая функция активации имеет свое применение и подходит для разных сценариев.
В случае сигмовидной функции
- Их производные легко вычислить, что полезно при расчете обновлений весов в некоторых алгоритмах обучения.
- Сигмовидная функция имеет такие же отношения ввода-вывода, что и биологические нейроны. Выходные данные показывают, срабатывает нейрон или нет.
- Они монотонны, так как обучающая выборка сети выполняется посредством выпуклой оптимизации.
При работе с ИНС приоритетом моделиста/программиста при выборе функции активации являются:
- Является ли функция непрерывной или нет.
- Достаточно ли вычислительной мощности для обработки всех нейронов в сети.
- Тип желаемого вывода — является ли переменная логистической/непрерывной и могут ли данные быть классифицированы/категоризированы.
