Эффективное моделирование долгосрочных зависимостей позволяет формировать выходные данные новой модели на основе предыдущих входных данных и имеет решающее значение при работе с более длинными текстовыми, аудио- или видеоконтекстами. Однако при моделировании долгосрочных зависимостей аудиосигналов даже меньшие временные масштабы могут давать сотни тысяч выборок. Пока трансформатор…
