Использование больших языковых моделей в качестве помощников по доказательствам может заполнить загадочную брешь в наборе инструментов ИИ.
Это чтение лучше всего подходит для людей, которые уже хорошо разбираются в языках глубокого обучения и программирования.
Спросите любого из моих коллег, и они скажут вам, что я убежденный критик того, что я называю «произвольными различиями». Я обнаружил один здесь, в наборе инструментов ИИ [1].
Когда-то люди писали доказательства на бумаге. Затем люди закодировали правила логики в компьютеры. Затем человек спросил: «Может ли компьютер доказать, что утверждение верно?» Ответ был да, но часто с большими трудностями. Затем компьютеры стали в два раза быстрее, а затем снова в два раза быстрее, и этот процесс более или менее продолжается по сей день [2].
Затем кто-то поместил первую нейронную сеть на GPU. И это сработало действительно очень хорошо. Настолько хорошо, что компания действительно разбогатела [3].
И эти нейронные сети стали очень большими [4].
Так вот, с этими двумя крайностями. Что касается классической стороны, у нас есть помощники по доказательству, средства доказательства теорем и средства проверки моделей. А с другой стороны, у нас есть огромные монолитные модели. Нет ли места для чего-то среднего?
Что, если бы мы создали первый в мире язык программирования, в котором объекты были бы теоремами, написанными на естественном языке? Что, если бы я был юристом и мог бы писать
from legal.statute.relationships import violates
from laws.united_states.fifty_states import new_york_laws
for law in new_york_laws:
if proposed_policy `violates` law:
print(law)
Кажется надуманным?
Таким образом, граф знаний, построенный на основе больших юридических текстов, может принести пользу при решении важных задач вычислительного права, таких как поиск юридической информации, построение юридических доказательств и генерация аргументов. Правовая интеллектуальная система на основе графа знаний может продвигать услуги для обычных пользователей, юридических библиотекарей и исследователей, юристов и судебных сообществ [5].
Но, как отмечается в документе, в законе есть определенная степень «мягкости» или двусмысленности, которая в меньшей степени присутствует в графах знаний языков программирования. И мой математический ум был бы в восторге, если бы мы могли избежать онтологических парадоксов или циклов определений. Я хотел бы определить вещи с точки зрения атомарных примитивов. И итеративно строить целый мир, медленно уточняя определения.
Это, на мой взгляд, то место, где подходят большие языковые модели. Я предполагаю, что нам не нужна нейронная машина Тьюринга для запуска этих программ. Я предполагаю, что некоторые элементарные примитивы естественного языка прекрасно работают в паре.
Вероятно, нам понадобятся наборы слов, чтобы определить идею. А потом логическое объединение слов и логическое пересечение слов. И мы, вероятно, хотим настроить строгость этих операций. И, наконец, нам, вероятно, нужна аналогия как инструмент. king-man+woman, вероятно, должно работать, поэтому, возможно, нам также потребуется определить какую-то форму вычитания и сложения.
Но этого было бы недостаточно. Наученные модели не так хороши в представлении правды и часто страдают от выученных исторических предубеждений [6], поэтому нам нужно начать с фактов, определенных в строгих контекстах, и быть уверенными, что эти контексты всегда явные.
Так начинаются поиски программируемой формы естественного языка. Это заполняет пробел ИИ. Помощник по проверке естественного языка, который может работать с произвольным текстом на английском языке, а также работать с прагматикой и небольшими двусмысленностями. Кажется, мне пора начать читать.
[1] Под ИИ я подразумеваю классический ИИ вплоть до больших языковых моделей включительно.
[2] Более или менее. https://semiwiki.com/ip/312695-white-paper-scaling-is-falling/
[3] https://www.forbes.com/sites/aarontilley/2016/11/30/nvidia-deep-learning-ai-intel/?sh=64c13f587ff1
[4] https://openai.com/blog/chatgpt/
[6] https://pair.withgoogle.com/explorables/fill-in-the-blank/
[7] https://www.researchgate.net/publication/307858534_Proof_Assistants_for_Natural_Language_Semantics
