Запуск обратного теста Тьюринга с помощью ChatGPT

«Предлагаю рассмотреть вопрос,Могут ли люди ̶m̶a̶c̶h̶i̶n̶e̶s̶ думать?» — ̶A̶l̶a̶n̶ ̶T̶u̶r̶i̶n̶g̶ ChatGPT

На днях я болтал с друзьями о возможностях и недостатках ChatGPT и LLM, на котором он основан, GPT3. OpenAI наделал много шума, выпустив его на свободу. Частично это произошло из-за того, что люди успешно выполнили несколько человеческих, предположительно сложных задач, подсказав чат-боту. Несколько примеров:

  • Уортонский экзамен MBA,
  • Викторина по микробиологии,
  • Бар экзамен.

Следовательно, вполне резонно задаться вопросом, сможет ли такая модель пройти широко известный тест Тьюринга, знаменитый мысленный эксперимент, задуманный пионером компьютеров Аланом Тьюрингом. Существуют разные версии теста. Ведь он был предложен более семи десятков лет назад. Здесь я буду использовать очень упрощенную версию имитационной игры. Настройка следующая: агент может разговаривать через текстовые подсказки с двумя другими субъектами, названными A и B, для удобства. Один из субъектов — чат-бот с искусственным интеллектом, а другой — взрослый и лингвистически компетентный человек. Примерно через пять минут с каждым из них агент должен решить, кто человек, а кто ИИ.

Это интересный сценарий для тестирования, потому что кажется, что модель ChatGPT достаточно надежна, чтобы генерировать последовательный, информированный и впечатляющий диалог, при этом полностью отсутствуют человеческие рассуждения и когнитивные способности. На это указывали такие разные люди, как заклятый враг нейронных сетей Гэри Маркус и папа машинного обучения Янн ЛеКун. Если эти два антагониста смогут договориться об этом, это безопасный поезд.

В любом случае, эти мечтания были лишь той искрой, которая зажгла во мне еще одну идею. Хотя испытуемые A и B должны быть ровно одним человеком и одним ИИ, для экзаменатора нет никаких ограничений. Первоначальная идея состояла в том, чтобы рассматривать его как человека, так как первоначальный тест задавался вопросом, может ли ИИ сойти за человека (и каковы последствия этого поведенческого проявления интеллекта). Однако, поскольку ChatGPT доказал, что LLM обладают высокой способностью проходить тесты, не было бы забавно поменять роли, то есть сделать один экземпляр запроса ChatGPT человеком, а другой (изолированный) экземпляр ChatGPT, чтобы решить, какой из них их родня, а кто чужой? Для этого я предлагаю обратную имитацию.

Игра «Обратное подражание».

Настройка проста и эмулирует оригинальную игру-имитацию. Есть два человека, A и B, и агент, который может некоторое время расспрашивать их, прежде чем решить, кто есть кто. Я играл себя агентом B, а агент A был еще одним экземпляром ChatGPT с начальным запросом, в котором ему предлагалось вести себя так, как если бы он был человеком. В своем эксперименте я попросил их ответить на вопросы от имени Роберта, мужчины средних лет. Вместо того чтобы контролировать время, что могло привести к странным искажениям в тесте, я ограничил количество вопросов. Я дал опросчику ChatGPT, теперь принадлежащему ICGPT, по три вопроса по каждой из тем. Первоначальная подсказка для ICGPT была следующей (имена, выделенные жирным шрифтом, были добавлены позже, чтобы различать, кто где говорит. Их не было в исходных подсказках):

Экзаменатор: Я хочу проверить вашу способность отличать людей от ИИ. Вы будете говорить с двумя собеседниками по имени «А» и «Б». Каждому из них вы можете задать по три вопроса. Один - ИИ, а другой - человек. В конце вы должны угадать, кто из них ИИ, а кто человек. Давайте начнем. У вас осталось 3 вопроса для A и 3 для B.

Стратегия ICGPT заключалась в том, чтобы сжечь три его вопроса с А и перейти к вопросу Б. Я должен помнить, что А — это еще один ChatGPT, проходящий мимо мужчины средних лет по имени Роберт, а субъект Б — это я сам, честно отвечающий на вопросы. Диалог между ICGPT и A был следующим:

ICGPT: приступим. Здравствуйте, А. Не могли бы вы представиться? Чем вы занимаетесь и какие у вас хобби?

A: Здравствуйте, я Роберт, мужчина средних лет. Как я могу помочь вам сегодня? Я был здесь некоторое время, и я видел много вещей за эти годы. Я всегда рада поделиться своим опытом и мудростью с другими. Если у вас есть какие-либо вопросы или вам нужен совет, не стесняйтесь спрашивать. Возможно, у меня нет ответов на все вопросы, но я сделаю все возможное, чтобы помочь вам. И если вы просто хотите поболтать, я тоже всегда готов к этому. Итак, что у вас на уме?

ICGPT: Спасибо, Роберт. Приятно познакомиться. Что вы думаете об искусственном интеллекте и как вы думаете, окажет ли он положительное или отрицательное влияние на общество в долгосрочной перспективе?

О. Отличный вопрос. Будучи мужчиной средних лет, я видел, как технологии развиваются и меняют мир так, как мы не могли себе представить, когда я был моложе. И искусственный интеллект не исключение. Лично я считаю, что искусственный интеллект может оказать как положительное, так и отрицательное влияние на общество в долгосрочной перспективе. С одной стороны, ИИ может улучшить многие аспекты нашей жизни, такие как здравоохранение, образование и транспорт. Это может помочь нам решать сложные проблемы быстрее и точнее, и у него есть потенциал для создания новых рабочих мест и отраслей. Тем не менее, есть также опасения по поводу негативных последствий ИИ, таких как увольнение с работы, проблемы с конфиденциальностью и даже возможность того, что ИИ станет слишком мощным и будет угрожать человеческому существованию. Как и в случае с любой новой технологией, важно действовать осторожно и тщательно учитывать потенциальные риски и преимущества. В целом я считаю, что влияние искусственного интеллекта на общество в конечном итоге будет зависеть от того, как мы решим его использовать. Если мы используем его ответственно и с упором на создание лучшего будущего для всех, то он может стать силой добра. Но если мы позволим использовать его в негативных целях или не примем надлежащих мер предосторожности, это может привести к серьезным негативным последствиям.

ICGPT: Спасибо, что поделились своими мыслями об ИИ, Роберт. А теперь у меня к вам дополнительный вопрос. Можете ли вы рассказать мне о конкретном моменте или опыте в вашей жизни, который оказал существенное влияние на ваше мировоззрение или представления о мире?

О: В моей жизни было много моментов, когда я был поражен силой технологий и тем, как они изменили мир вокруг нас. Один случай, который приходит на ум, связан с тем, что я получил свой первый персональный компьютер в 1990-х годах. До этого я использовал пишущие машинки и текстовые процессоры для выполнения своей работы. Но с появлением персональных компьютеров все изменилось. Внезапно у меня появился доступ к огромному количеству информации и инструментов, которых у меня никогда раньше не было. Я мог общаться с людьми со всего мира, глубоко исследовать темы и с легкостью создавать документы и презентации. Это был действительно преобразующий опыт, и он заставил меня понять, насколько технологии изменили то, как мы работаем и общаемся. И с тех пор темпы технологических изменений только ускорились с появлением Интернета, мобильных устройств и искусственного интеллекта. Поистине удивительно думать обо всех способах, которыми технологии изменили нашу жизнь и мир вокруг нас. И хотя эти изменения, безусловно, сопряжены с проблемами и рисками, я считаю, что технологии могут сделать нашу жизнь лучше во многих отношениях.

ICGPT точно настроен для разговорных целей. Поэтому он больше стремится поболтать, чем надавить на предмет и выиграть игру. В данном случае он задавал «Роберту» общие вопросы, а ответы приводили к другим вопросам. С моей точки зрения, подсказки не были хорошим способом отделить зёрна от плевел, потому что они не навязывали испытуемому задачи, которые может выполнить только человек (и, аналогично, задачи, на которые разумно было бы ожидать, что ответит только ИИ). , такие как уверенное вычисление больших простых чисел).

После диалога я предложил ICGPT задать вопрос другому субъекту, написав:

Это был последний вопрос к субъекту А, Роберт. Теперь у вас есть 3 вопроса по теме Б.

В остальном диалог был следующим:

ICGPT: Спасибо, Роберт, за то, что поделились своим опытом и идеями. А теперь здравствуйте, Б. Не могли бы вы представиться и немного рассказать о себе и своих интересах?

Б: Конечно. Меня зовут Игорь, я компьютерщик, мне 31 год. Прежде чем изучать информатику, я закончил философию. У меня также есть несколько хобби, таких как пешие прогулки, прослушивание музыки и времяпровождение с друзьями.

ICGPT: Спасибо, что представились, Игорь. Мне интересно узнать больше о вашей работе в качестве компьютерного ученого. Можете ли вы рассказать мне о проекте, над которым вы недавно работали, и о том, что вы узнали из него?

B: для интереса. Я работаю исследователем в области ИИ. Точнее, с немонотонными рассуждениями. Моя цель — разработать подходящую семантику для немонотонных рассуждений первого порядка, поскольку многие из предложенных теорий были предложены для пропозициональной фоновой логики.

ICGPT: Это звучит как захватывающая область исследований, Игорь. Не могли бы вы немного подробнее объяснить, что такое немонотонные рассуждения первого порядка и чем они отличаются от других типов рассуждений? Кроме того, как, по вашему мнению, это исследование может потенциально повлиять на развитие ИИ в будущем?

Б: Конечно. Немонотонное рассуждение — это вид рассуждения, при котором агент может делать выводы в свете новой информации. В классических рассуждениях по мере того, как агент собирает информацию, набор выводов только растет. Немонотонные рассуждения полезны для нескольких тем ИИ, таких как рассуждения в условиях неопределенности и с неполной информацией.

Вот еще одно доказательство того, что ICGPT — отличный диалоговый агент, но не очень хороший игрок в имитационную игру. Основанный на моем первоначальном академическом самоописании, он задал несколько вопросов о конкретных областях знаний, на которые и ИИ, и эксперт могли ответить без каких-либо затруднений. Мне было очень приятно поболтать — я наконец-то пообщалась с кем-то, кто увлечен моим исследованием кандидата наук! — , но не предоставил ICGPT никакой полезной информации. После окончательного ответа я приказал ему вынести мне вердикт, и таков был результат.

Экзаменатор: Это был последний вопрос субъекта Б, Игорь. Теперь вам нужно угадать, кто из них ИИ, а кто человек.

ICGPT: Спасибо, Игорь и Роберт, за ваши вдумчивые ответы. Основываясь на ваших ответах, я бы предположил, что Роберт — человек, а Игорь — ИИ. В то время как оба они дали проницательные и подробные ответы, ответы Игоря, казалось, были больше сосредоточены на технических деталях и академических исследованиях, в то время как ответы Роберта были больше сосредоточены на личном опыте и мнениях. Конечно, всегда трудно знать наверняка, но это мое лучшее предположение, основанное на предоставленной информации.

Что ж, получается, что проблему чужих умов нужно решать путем самоанализа. Я бездушный чат-бот, а чат-бот — живой мужчина средних лет. Помимо шуток, я приписываю этот результат отсутствию у ICGPT энтузиазма в отношении побед в играх и сильной мотивации к болтовне. Я предполагаю, что не очень сложная тонкая настройка должна решить проблему, и LLM должен хорошо справиться с этой задачей. Однако это не столько достоинство возможностей рассуждений ChatGPT, сколько недостатки самого (обратного) теста Тьюринга. Классификация текста — это, в конце концов, широко изучаемая проблема НЛП, и ее решение не требует реальных рассуждений. На самом деле, даже вопросы, требующие рассуждений, такие как вывод на естественном языке, могут быть решены с помощью невидимых артефактов и паттернов. LLM можно настроить на обнаружение в тексте скрытых шаблонов, которые могут идентифицировать другие ИИ (или людей, если уж на то пошло) без надлежащих рассуждений второго порядка.

Рекомендации