В других местах есть много подробных объяснений по этому поводу, здесь я хотел бы поделиться некоторыми примерами вопросов в условиях интервью.
Почему полезна функция активации сигмовидной диаграммы? В чем главный недостаток сигмовидной функции активации?
Если ты такой пустой…
Вот несколько примеров ответов для ознакомления читателей:
Сигмовидная функция активации обычно используется для задач классификации, поскольку она преобразует число от минус бесконечности до плюс бесконечности в интервал 0, 1, который можно интерпретировать как вероятность.
"Смотри!"
Самая большая проблема с сигмовидной активацией — это проблема исчезающего градиента.
Если у вас высокая активация (z), высокие z или низкие z, ваш градиент будет очень близок к 0. Проблема с низкими градиентами заключается в том, что при выполнении обратного распространения, если кэшированное значение z велико, градиент будет очень маленьким, и будет очень сложно обновить параметры, которые находятся в начале сети, потому что градиенты исчезнут.
"Смотри!"
Удачной практики!
Спасибо, что читаете мою рассылку. Вы можете подписаться на меня в Linkedin или Twitter @Angelina_Magr!
Возможно, есть разные точки зрения, чтобы ответить на вопросы интервью. Автор этого информационного бюллетеня не пытается найти ссылку, исчерпывающе отвечающую на вопрос. Скорее, автор хотел бы поделиться некоторыми быстрыми выводами и помочь читателю подумать, попрактиковаться и провести дальнейшие исследования по мере необходимости.
Источник видео: Stanford CS229, Лекция 12 (осень 2018 г.) — Backprop & Improving Neural Networks, доктор Kian Katanforoosh
Отличное чтение: Нежное введение в сигмовидную функцию доктора Мехрин Саид
