Модели в пространстве состояний (SSM), разработанные для моделирования динамических систем, продемонстрировали выдающуюся производительность от последовательности к последовательности в различных областях, от анализа временных рядов до генерации звука. Однако SSM борются с задачами языкового моделирования, где они не могут сравниться с производительностью архитектур-трансформеров.