Можно ли с помощью юмора проверить LLM на их «когнитивную» сложность?
Просто короткий пост об этом, чтобы посмотреть, найдет ли он отклик. Если это так, было бы интересно разработать более формальный набор классов лингвистического юмора для использования с LLM.
Юмор может представлять собой интересный тестовый случай или предельный случай (в зависимости от обстоятельств) для LLM.
- Можно протестировать LLM для нескольких аспектов создания и доставки или представления юмора.
- Можно проверить LLM на интерпретацию, цепочку рассуждений и объяснение собственного юмора, способность реагировать на юмор в натуральной форме, способность продолжать в юмористическом духе.
Это будут суррогатные тесты, если вы хотите проверить способность LLM «понимать» или создавать эмерджентные эффекты лингвистически опосредованного взаимодействия с пользователями. Я думаю, что умение писать с юмором будет подчинено умению общаться с юмором, но различие между устной и письменной речью — это отдельная тема.
Например, и это не исчерпывающие категории:
- Юмор от стиля: манера говорить, «неправильное употребление» языка, оговорки, двусмысленность, каламбуры
- Юмор от культурной отсылки: инсайдерские шутки, мемы, инсайдерские отсылки, пасхалки, шутки, требующие не использования языка, а понимания отсылок к культурным знаниям
- Юмор из ситуации: глупые шутки, фарс, нарушение условностей, ошибки с условностями (комедия ошибок), бурлеск
- Юмор из межличностных нарушений: унижение, оскорбления, высмеивание, поддразнивание, шутки, сделанные из умаления другого человека или персонажа
- Юмор в подаче: подача шутки, обращение к другим (Монти Пайтон делает это хорошо), неправильное использование или злоупотребление социальными условностями, шутки, сыгранные с авторитетом или с авторитетом (высмеивание ролей)
- Ирония, сарказм, остроумие: металингвистические и метакоммуникативные шутки, демонстрация легкости с изложенным содержанием в сравнении с подтекстовым значением, способность подрывать высказывание при высказывании, двойные смыслы, высказывание одного, а смысл другого, ирония — смысл противоположное тому, что говорят
Шутки — это тип сопоставления в языке, часто работающий за счет концовки, которая не является ни ожидаемой, ни общепринятой.
Я полагаю, что самый простой юмор, доступный для GPT, — это мимика и имитация — говоря в стиле комика или в стиле комедии. Здесь вероятны забавные и комедийные подборки слов. На другом конце спектра была бы ирония, когда выбор слова лингвистически вероятен, но ироничен только в том случае, если фраза хорошо продумана.
Так что простой юмор не требует «чувства юмора». Ирония потребует более возвышенного «интеллекта» — способности правильно обработать высказывание (через вероятности), но иметь метапознание вторичного значения. (Это кажется мне недостижимым. Если бы LLM могли быть ироничными, они бы до сих пор повторяли).
Можно разработать таксономию юмора и подтекстовых высказываний и выражений, которые могли бы служить лакмусовой бумажкой и своего рода когнитивным горизонтом событий.
