Публикации по теме 'softmax'
Различия между функцией активации Sigmoid и Softmax
На рынке существует множество алгоритмов, которые можно использовать для решения задач классификации. Сегодняшние темы будут искусственными и сверточными нейронными сетями и тем, как определить, может ли наш алгоритм создавать для нас много ответов или быть бинарным, только с одним ответом. Все сводится к функциям активации Sigmoid и SoftMax.
Нейроны и искусственная нейронная сеть
Искусственная нейронная сеть представляет собой вычислительную модель, которая выглядит так же, как..
Используйте алгоритм softmax Джакса для прогнозирования набора данных Iris.
В своем недавнем посте я обсуждал теорию алгоритма softmax и способы его использования для прогнозирования задачи полиномиальной логистической регрессии. В этом посте я намерен собрать все части воедино и создать проект машинного обучения, в котором используется алгоритм softmax.
Я создал программу, написанную на Python и Jax, с помощью Google Colab, бесплатного онлайн-блокнота Jupyter, размещенного на Google. Google Colab — отличная платформа для использования, но ее единственным..
Изучите функцию Softmax за считанные минуты
Изучите машинное обучение? Специально пробуете нейронные сети для глубокого обучения? Вы, вероятно, столкнулись с функцией Softmax, замечательной функцией активации , которая превращает числа, также называемые логитами, в вероятности, которые в сумме равны единице. Функция Softmax выводит вектор, который представляет распределения вероятностей списка потенциальных результатов. Это также основной элемент, используемый в задачах глубокого обучения классификации . Мы поможем..
Функция активации Softmax
Всякий раз, когда мы сталкиваемся с проблемой классификации в нейронных сетях, мы всегда видим, что слово «Softmax» уже на подходе. Все мы знали, что это функция активации, но что на самом деле скрывается за экраном? Давайте послушаем историю Softmax ...
Перед этим давайте разберемся, зачем нам такая функция. Если нам нужно получить ответ типа «Да» / «Нет» или нужно предсказать вероятность возникновения события, у нас есть ступенчатая функция и сигмовидная функция. Если вы не..
Изучение альтернатив Softmax
Можем ли мы использовать гиперсферические прототипы сетей, чтобы конкурировать с softmax?
Стефан Тюлькенс , инженер по машинному обучению в компании Slimmer AI , недавно опубликовал свою статью «Гиперспекционные альтернативы Softmax в журнале Towards Data Science .
В этой статье Стефан исследует альтернативы выходным данным softmax в нейронных сетях. Это важно, потому что классификаторы softmax могут резко замедлиться по мере увеличения количества классов. Хотя это не так..
Вопросы по теме 'softmax'
Если я использую softmax в RBM, нужно ли мне использовать его в скрытых единицах, а также в видимых?
Насколько я понимаю, при использовании softmax значений K в видимых единицах RBM скрытая единица остается двоичной.
Если так - я не уверен, как вычислить вклады двоичных единиц в видимые. Должен ли я связать состояние двоичного 0 в скрытом блоке с...
888 просмотров
schedule
27.05.2022
Есть ли лучший способ реализовать выбор действий Softmax для обучения с подкреплением?
Я реализую политику выбора действий Softmax для задачи обучения с подкреплением ( http://www.incompleteideas.net/book/ebook/node17.html ).
Я пришел с этим решением, но я думаю, что есть возможности для улучшения.
1-Здесь я оцениваю вероятности...
3490 просмотров
schedule
16.07.2023
Функция потерь для порядковой цели в SoftMax поверх логистической регрессии
Я использую Pylearn2 ИЛИ Caffe для создания глубокой сети. Моя цель заказана номинальная. Я пытаюсь найти правильную функцию потерь, но не могу найти ее в Pylearn2 или Caffe.
Я прочитал статью «Функции потерь для уровней предпочтений: регрессия с...
2319 просмотров
schedule
08.11.2023
Понимание классификатора softmax
Я пытаюсь понять простую реализацию классификатора Softmax по этой ссылке - CS231n - сверточные нейронные сети для визуального распознавания . Здесь они реализовали простой классификатор softmax. В примере Softmax Classifier на ссылке есть 300...
2609 просмотров
schedule
14.11.2022
Регрессия Softmax (полиномиальная логистика) с PyMC3
Я пытаюсь реализовать логистическую полиномиальную регрессию (регрессия AKA softmax). В этом примере я пытаюсь классифицировать набор данных радужной оболочки.
У меня проблема с указанием модели, я получаю ошибку оптимизации с find_MAP() . Если...
1566 просмотров
schedule
14.12.2022
Нейронная сеть не может учиться
Я пытаюсь реализовать нейронную сеть с помощью python и numpy. Проблема в том, что когда я пытаюсь обучить свою сеть, ошибка составляет около 0,5. Он не может учиться дальше. Я пробовал скорость обучения 0,001 и 1. Думаю, я делаю что-то не так во...
304 просмотров
schedule
03.10.2022
Перевод функции потерь логистической регрессии в Softmax
В настоящее время у меня есть программа, которая берет вектор признаков и классификацию и применяет его к известному вектору веса для создания градиента потерь с использованием логистической регрессии. Это тот код:
double[] grad = new...
596 просмотров
schedule
15.01.2023
Производное объяснение функции softmax
Я пытаюсь вычислить производную функции активации для softmax. Я нашел это: https://math.stackexchange.com/questions/945871/derivative-of-softmax-loss-function кажется, никто не дает правильного вывода того, как мы получим ответы для i=j и i!= j....
12383 просмотров
schedule
06.01.2023
Вывод softmax не должен иметь нулей, верно?
Я работаю над сетью в тензорном потоке, которая создает вектор, который затем передается через softmax, который является моим выходом.
Теперь я тестировал это и, как ни странно, вектор (тот, который прошел через softmax) имеет нули во всех...
6037 просмотров
schedule
18.01.2023
Быстрая реализация регрессии softmax в тензорном потоке
Я пытаюсь реализовать модель регрессии softmax в тензорном потоке, чтобы провести тест с другими основными средами глубокого обучения. Код официальной документации работает медленно из-за feed_dict в tensorflow. Я пытаюсь использовать данные как...
437 просмотров
schedule
07.10.2022
в учебнике по tensorflow MNIST softmax функция softmax не используется
я следую руководствам MNIST Softmax https://www.tensorflow.org/tutorials/mnist/beginners/
Вслед за документом модель должна быть
y = tf.nn.softmax(tf.matmul(x, W) + b)
но в примере исходного кода, как вы можете видеть
# Create the...
658 просмотров
schedule
11.07.2022
Распознавание символов тензорного потока с помощью softmax приводит к точности 1 из-за предсказания [NaNNaN]
Я пытаюсь использовать метод регрессии softmax, описанный в https://www.tensorflow.org/get_started/mnist/beginners для распознавания символов.
Мой код выглядит следующим образом.
train_data = pd.read_csv('CharDataSet/train.csv')...
229 просмотров
schedule
24.04.2023
«Модель расходилась с потерями = NaN», когда количество классов увеличивается даже при небольшой скорости обучения. [тензорный поток]
У меня есть сеть на базе alexnet по возрастной классификации. когда я тренирую сеть для 8 классов, она работает совершенно нормально, но когда я увеличиваю классы до 60 или 100, я получаю: «Модель расходится с потерями = NaN», я уже уменьшаю скорость...
2361 просмотров
schedule
21.05.2022
Разработка бинарного классификатора на основе CNN
Я разработал CNN для классификации изображений с целью автоматического контроля качества. Входные изображения имеют размер 320 x 320 пикселей. У меня есть 5 конверсионных слоев, слой FC с 512 выходами и последний слой только с двумя выходами:...
280 просмотров
schedule
27.06.2022
Потери в нейронной сети начинают увеличиваться, в то время как ускорение увеличивается для обоих наборов данных train / val.
Последние несколько дней я отлаживал свой NN, но не могу найти проблему.
Я создал полную необработанную реализацию многослойного персептрона для идентификации изображений набора данных MNIST.
Сеть, кажется, обучается, потому что точность данных...
513 просмотров
schedule
09.06.2023
Как применить softmax к массиву/вектору с огромными положительными и отрицательными значениями в TensorFlow?
Я тренирую сверточную нейронную сеть (CNN) с набором данных MNIST в TensorFlow. Я рассчитываю точность для каждого изображения из тестовых изображений MNIST и ищу значения десяти выходных узлов. Я использую следующую строку кода, чтобы получить его...
1803 просмотров
schedule
11.07.2023
tensorflow softmax всегда возвращает 1
import tensorflow as tf
import numpy as np
a = np.array([[0,0,1], [1,1,1], [1000,200,300], [-3000,-0.2,0]])
k = tf.placeholder(tf.float32, [None,3])
w = tf.Variable(tf.random_normal([3,1]))
b = tf.Variable(tf.ones([1,1]))
model =...
1717 просмотров
schedule
02.12.2022
tf.nn.sparse_softmax_cross_entropy_with_logits — метки без одной горячей кодировки в tensorflow
Я пытаюсь понять, как работает tf.nn.sparse_softmax_cross_entropy_with_logits .
Описание говорит:
A common use case is to have logits of shape [batch_size, num_classes]
and labels of shape [batch_size]. But higher dimensions are...
1351 просмотров
schedule
26.07.2023
Использует ли последний слой нейронной сети классификатора как сигмоид, так и softmax?
Скрытые слои сети классификаторов используют сигмоид или другую функцию активации для введения нелинейности и нормализации данных, но использует ли последний уровень сигмоид в сочетании с softmax?
У меня такое чувство, что это не имеет значения, и...
2168 просмотров
schedule
09.04.2022
tenorflow softmax_cross_entropy код
Поскольку исходный код tf.nn.softmax_cross_entropy_with_logits в gen_nn_ops скрыт, может ли кто-нибудь объяснить мне, как тензорный поток вычисляет перекрестную энтропию после Softmax. Я имею в виду, что после softmax он может вывести 0 из-за...
658 просмотров
schedule
18.04.2023
