^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

Исследовательская группа из DeepMind исследует, как нейронные сети могут быть объединены с алгоритмическими вычислениями, и демонстрирует элегантный нейронный сквозной конвейер, который идет прямо от необработанных входных данных к общим выходным данным, эмулируя алгоритм внутри.

*******************************************************************

Алгоритмы везде………………………….

В них подробно описаны конкретные инструкции, необходимые компьютерам для выполнения задач, от беспилотных транспортных средств до рекомендательных систем и даже в вашей микроволновой печи. Способность алгоритмов автоматизировать и создавать системы по этой причине сделала их краеугольным камнем современного общества. Хотя полные модели нейронных сетей также могут служить в качестве средств решения задач и использовать дополнительную информацию из данных для адаптации существующих алгоритмов к реальным задачам, компромисс заключается в том, что эти системы жертвуют способностью к обобщению.

Исследовательская группа из DeepMind исследует, как нейронные сети могут быть объединены с алгоритмическими вычислениями, и демонстрирует элегантный нейронный сквозной конвейер, который идет прямо от необработанных входных данных к общим выходным данным, эмулируя алгоритм внутри.

Алгоритмы обычно поставляются с сильными общими гарантиями и являются основой для разработки программного обеспечения в бесчисленных областях. Инвариантность алгоритма может быть сформулирована как предварительное условие (указать, какие входные данные он ожидает) и как постусловие (что алгоритм может гарантировать в отношении своих выходных данных после выполнения). Несмотря на свои гарантии, алгоритмы негибки в отношении решаемой проблемы. И наоборот, нейронные сети, которые работают с данным экземпляром проблемы, не могут гарантировать обобщение на некоторые более крупные экземпляры, но могут адаптироваться к более широкому кругу проблем.

Чтобы получить лучшее из обоих миров, предыдущие исследования пытались объединить алгоритмы и глубокое обучение. Подходы включали обучение моделей глубокого обучения с использованием существующих алгоритмов в качестве фиксированных внешних инструментов; обучение глубоких нейронных сетей имитировать работу существующего алгоритма путем получения одного и того же результата и использования нескольких известных алгоритмов и абстрактных общих черт между ними, чтобы можно было вывести алгоритмы.

Как правило, реальная проблема сначала подгоняется к известному классу задач, а затем для ее решения выбирается соответствующий алгоритм. Алгоритмы используются для рассуждения о проблемах в абстрактном пространстве, чтобы упростить построение теоретических коллекций между целевой проблемой и известным классом проблем. Однако такая абстракция часто связана с резкой потерей информации, что снижает способность системы точно отображать динамику реального мира. Чтобы обойти эту проблему, исследователи DeepMind применили глубокое обучение вместо ручного извлечения признаков из необработанных данных, что привело к значительному повышению производительности.

Идея алгоритмического мышления состоит в том, чтобы построить алгоритмически вдохновленные нейронные сети, которые могут выполнять алгоритм на основе абстрактных входных данных. Следуя этой схеме, предлагаемый нейронный сквозной конвейер предназначен для внутренней эмуляции алгоритма и перехода от необработанных входных данных к общим выходным данным. В частности, учитывая естественные входные данные, которые часто являются многомерными, зашумленными и склонными к быстрым изменениям, предлагаемый метод сначала обучает алгоритмического логиста имитировать алгоритм. Это дает функции кодера и декодера, которые могут передавать данные в скрытое пространство процессорной сети и из него. Затем настраиваются соответствующие нейронные сети кодировщика и декодера для обработки необработанных данных и получения ожидаемых результатов. Наконец, функции кодировщика и декодера меняются местами с алгоритмического рассудка на соответствующие нейронные сети кодировщика и декодера соответственно и изучают их параметры с помощью градиентного спуска.

Исследователи говорят, что их конвейер нейроалгоритмических рассуждений предлагает надежный подход к применению алгоритмов на естественных входных данных. Такой план нейронных алгоритмических рассуждений уже доказал свою полезность в ряде областей, включая обучение с подкреплением и сборку генома. Команда считает, что предложенное нейроалгоритмическое мышление имеет преобразующий потенциал для запуска классических алгоритмов на входных данных, которые ранее считались недоступными.

  • ****************************************************************

Скачать статью: https://arxiv.org/pdf/2105.02761.pdf

############################################