- Оценка классификаторов научных отношений на основе BERT для построения графа научных знаний в коллекциях цифровой библиотеки (arXiv)
Автор: Мин Цзян, Дженнифер Д’Суза, Сёрен Ауэр, Дж. Стивен Дауни
Аннотация: Быстрый рост исследовательских публикаций предъявляет большие требования к цифровым библиотекам (DL) для передовых технологий управления информацией. Чтобы удовлетворить эти требования, пропагандируются методы, основанные на структурах графов знаний. В таких конвейерах на основе графов вывод семантических отношений между связанными научными понятиями является важным шагом. В последнее время предварительно обученные модели на основе BERT широко используются для автоматической классификации отношений. Несмотря на значительный прогресс, большинство из них оценивались по разным сценариям, что ограничивает их сопоставимость. Кроме того, существующие методы в первую очередь оцениваются на чистых текстах, что игнорирует контекст оцифровки ранних научных публикаций с точки зрения машинного сканирования и оптического распознавания символов (OCR). В таких случаях тексты могут содержать шум OCR, что, в свою очередь, создает неопределенность в отношении эффективности существующих классификаторов. Чтобы устранить эти ограничения, мы начали с создания зашумленных OCR текстов на основе трех чистых корпусов. Учитывая эти параллельные корпуса, мы провели тщательную эмпирическую оценку восьми моделей классификации на основе Берта, сосредоточив внимание на трех факторах: (1) варианты Берта; (2) стратегии классификации; и (3) воздействие шума OCR. Эксперименты на чистых данных показывают, что предварительно обученный Bert для предметной области является лучшим вариантом для выявления научных отношений. Стратегия предсказания одного отношения каждый раз превосходит стратегию одновременного выявления множества отношений вообще. Производительность оптимального классификатора может снизиться примерно на 10-20% по F-показателю в зашумленных корпусах. Выводы, обсуждаемые в этом исследовании, могут помочь заинтересованным сторонам DL выбрать методы построения оптимальных систем на основе графов знаний.
2. Сложные логические рассуждения по графам знаний с использованием больших языковых моделей (arXiv)
Автор: Нурендра Чоудхари, Чандан К. Редди.
Аннотация: Анализ графов знаний (ЗЗ) — сложная задача, требующая глубокого понимания сложных отношений между сущностями и лежащей в основе логики их отношений. Текущие подходы основаны на изучении геометрии для встраивания объектов в векторное пространство для операций логических запросов, но они страдают от низкой производительности при выполнении сложных запросов и представлений, специфичных для набора данных. В этой статье мы предлагаем новый несвязанный подход, абстрактные рассуждения на основе графов знаний (LARK), который формулирует сложные рассуждения KG как комбинацию контекстного поиска KG и рассуждений абстрактных логических запросов, чтобы использовать сильные стороны алгоритмов извлечения графов и большие языковые модели (LLM) соответственно. Наши эксперименты показывают, что предлагаемый подход превосходит современные методы рассуждений KG на стандартных наборах контрольных данных для нескольких логических конструкций запросов со значительным приростом производительности для запросов более высокой сложности. Кроме того, мы показываем, что производительность нашего подхода улучшается пропорционально увеличению размера базового LLM, что позволяет интегрировать последние достижения в LLM для логических рассуждений по KG. Наша работа представляет собой новое направление для решения проблем сложных рассуждений КГ и прокладывает путь для будущих исследований в этой области.
