Что такое модель трансформер? Зачем вам это знать?
История моделей преобразования начинается с известной статьи под названием Внимание — это все, что вам нужно [1], в которой модели преобразования продемонстрировали огромный успех в обработке текста только с новым механизмом внимания [2]. С тех пор много внимания было уделено моделям-трансформерам, и большие модели-трансформеры доминировали в области НЛП с многочисленными приложениями и невероятными результатами. Мы можем предвидеть больше алгоритмических и даже аппаратных оптимизаций для трансформеров…
