1.Встраивание графов с помощью тензорных произведений и приблизительно ортонормированных кодов(arXiv)
Автор:Фрэнк Цю
Аннотация: мы представляем метод встраивания графов в виде векторов с сохранением структуры. В этой статье мы демонстрируем его богатую репрезентативную способность и приводим некоторые теоретические свойства нашего метода. В частности, наша процедура подпадает под подход связывания и суммирования, и мы показываем, что наша операция связывания — тензорное произведение — является наиболее общей операцией связывания, которая соблюдает принцип суперпозиции. Точно так же мы показываем, что сферический код обеспечивает оптимальное сжатие. Затем мы устанавливаем некоторые точные результаты, характеризующие производительность нашего метода, а также некоторые экспериментальные результаты, демонстрирующие, как он может точно выполнять различные операции с графами, даже когда количество ребер довольно велико. Наконец, мы завершаем установлением связи с матрицами смежности, показывая, что наш метод в некотором смысле является обобщением матриц смежности с приложениями к большим разреженным графам.
2. Перепрофилирование встраивания графов знаний для тройного представления с помощью слабого контроля (arXiv)
Автор : Александр Калиновский, Юань Ань
Аннотация. Большинство методов внедрения графов знаний обрабатывают сущности и предикаты как отдельные матрицы внедрения, используя функции агрегирования для построения представления входной тройки. Однако эти агрегации имеют потери, т. е. они не отражают семантику исходных троек, например информацию, содержащуюся в предикатах. Чтобы бороться с этими недостатками, современные методы изучают тройные вложения с нуля, не используя вложения сущностей и предикатов из предварительно обученных моделей. В этой статье мы разрабатываем новый подход к тонкой настройке для изучения тройных вложений путем создания слабых сигналов наблюдения из предварительно обученных вложений графа знаний. Мы разрабатываем метод автоматической выборки троек из графа знаний и оценки их попарного сходства из предварительно обученных моделей встраивания. Эти оценки парного сходства затем передаются в сиамоподобную нейронную архитектуру для точной настройки тройных представлений. Мы оцениваем предложенный метод на двух широко изученных графах знаний и демонстрируем последовательное улучшение по сравнению с другими современными методами тройного вложения в задачах тройной классификации и тройной кластеризации.
3. Я знаю то, чего вы не знаете: встраивание графа знаний с помощью совместного обучения (arXiv)
Автор:Ян Лю, Цзюнь Сун, Гуанъяо Ли, Вэй Ху
Аннотация. Встраивание графа знаний (KG) направлено на изучение векторных представлений сущностей и отношений. Обычные модели рассуждают о структурах графов, но они страдают от проблем неполноты графов и длинных хвостов. В недавних исследованиях использовались предварительно обученные языковые модели для изучения вложений на основе текстовой информации о сущностях и отношениях, но они не могут использовать преимущества графовых структур. В статье мы эмпирически показываем, что эти два типа признаков дополняют друг друга для встраивания KG. С этой целью мы предлагаем CoLE, метод совместного обучения для KG Embedding, который использует взаимодополняемость графовых структур и текстовой информации. Его модель встраивания графа использует Transformer для восстановления представления объекта из его соседнего подграфа. Его модель встраивания текста использует предварительно обученную языковую модель для создания представлений сущностей из программных подсказок их имен, описаний и реляционных соседей. Чтобы две модели могли продвигать друг друга, мы предлагаем совместное обучение, которое позволяет им извлекать выборочные знания из логитов прогнозирования друг друга. В нашем совместном обучении каждая модель служит и учителем, и учеником. Эксперименты с эталонными наборами данных показывают, что две модели превосходят свои связанные базовые показатели, а ансамблевый метод CoLE с обучением совместной дистилляции продвигает современный уровень внедрения KG.
