Используя преимущества существующих предварительно обученных языковых моделей и адаптируясь к задачам понимания изображений документов, Structural LM использует архитектуру BERT в качестве основы. Основываясь на архитектуре, мы предлагаем использовать информацию о макете на уровне ячеек из изображений документов и включать их в кодировщик преобразователя. Во-первых, учитывая набор токенов из разных ячеек и информацию о расположении ячеек, входные вложения на уровне ячеек вычисляются..