1.Посещение удаленных соседей в графовых сверточных сетях(arXiv)
Автор: Алиреза Хашеми, Хернан Максе
Аннотация: мы расширяем метод сверточной сети графа для глубокого изучения данных графа до более высокого порядка с точки зрения соседних узлов. Чтобы построить представления для узла на графе, помимо признаков узла и ближайших к нему узлов, мы также включаем в расчеты более удаленные узлы. Экспериментируя с рядом общедоступных наборов данных графа цитирования, мы показываем, что это посещение соседей более высокого порядка окупается, превосходя исходную модель, особенно когда у нас есть ограниченное количество доступных помеченных точек данных для обучения модели.
2.SGCN: использование сжато-разреженных функций в сверточных сетевых ускорителях Deep Graph(arXiv)
Автор: Минги Ю, Джэён Сон, Чонху Ли, Намхён Ким, Ёнсок Ким, Джинхо Ли.
Аннотация : сверточные сети графов (GCN) становятся все более популярными, поскольку они преодолевают ограниченную применимость предшествующих нейронных сетей. GCN принимает в качестве входных данных произвольно структурированный граф и выполняет серию слоев, которые используют структуру графа для вычисления своих выходных характеристик. Одной из последних тенденций в GCN является использование архитектур глубокой сети. В отличие от традиционных GCN, которые охватывают только от двух до пяти слоев в глубину, современные GCN теперь включают от десятков до сотен слоев с помощью остаточных соединений. В таких глубоких GCN мы обнаруживаем важную характеристику, заключающуюся в том, что они демонстрируют очень высокую разреженность промежуточных признаков. Заметим, что при глубоких слоях и остаточных связях количество нулей в промежуточных признаках резко возрастает. Это открывает перед акселератором новую возможность использовать в исполнениях GCN, которой раньше не было. В этой статье мы предлагаем SGCN, быстрый и энергоэффективный ускоритель GCN, который полностью использует редкие промежуточные функции современных GCN. SGCN предлагает несколько методов для достижения значительно более высокой производительности и энергоэффективности, чем у существующих ускорителей. Во-первых, SGCN использует удобный для GCN формат сжатия функций. Мы сосредоточены на сокращении трафика внешней памяти, который часто является узким местом для выполнения GCN. Во-вторых, мы предлагаем микроархитектуры для плавной обработки формата сжатых функций. В-третьих, чтобы лучше справляться с локальностью при наличии различной разреженности, SGCN использует сотрудничество с учетом разреженности. Кооперация с учетом разреженности создает шаблон, который демонстрирует несколько окон повторного использования, так что кэш может захватывать рабочие наборы разных размеров и, следовательно, адаптироваться к разному уровню разреженности. Мы показываем, что SGCN обеспечивает ускорение в 1,71 раза и повышение энергоэффективности на 43,9% по сравнению с существующими ускорителями.
