Эта статья является второй в серии «Реализованный трансформер». Он вводит позиционное кодирование с нуля. Затем объясняется, как PyTorch реализует позиционное кодирование. Затем следует реализация трансформаторов. Фон Позиционное кодирование используется для обеспечения относительного положения каждого токена или слова в последовательности. При чтении предложения каждое слово зависит от окружающих его слов. Например, некоторые слова имеют разные значения в разных контекстах,..