Была ли научная работа написана человеком или искусственным интеллектом? Даже исследователи едва ли могут отличить
Языковая модель Chatbot ChatGPT создает реалистичные и разумно звучащие тексты в ответ на запросы пользователей. Настолько реалистично, что исследователи с трудом могут сказать, была ли настоящая научная работа написана человеком или искусственным интеллектом, согласно статье в журнале Nature.
Инструмент был выпущен 30 ноября 2022 года компанией-разработчиком программного обеспечения OpenAI из Сан-Франциско (Калифорния, США). Система основана на нейронных сетях и использует большое количество ранее созданного текста, созданного человеком. С тех пор ученые и исследователи спорят об этических последствиях такого сложного чат-бота.
Исследовательское сообщество частично обеспокоено
Например, чат-бот написал препринт под названием Роль ИИ в открытии лекарств: вызовы, возможности и стратегии, который доступен на странице архивов Корнельского частного университета и опубликован в Итаке, Нью-Йорк. Он также написал редакционную статью.
«Если сейчас мы окажемся в ситуации, когда эксперты не могут определить, что правда, а что нет, мы теряем посредника, который нам отчаянно нужен для решения сложных вопросов», — говорит Сандра Вахтер из Оксфордского университета (Великобритания). .
человек или машина? Научные тексты трудно различить
Исследовательская группа из Северо-Западного университета в Чикаго, штат Иллинойс, использовала ChatGPT для создания искусственных резюме научных статей. Ученые хотели знать, могут ли их коллеги отличить тексты ИИ от написанных людьми.
С помощью чат-бота они подготовили 50 резюме медицинских исследований. Они были основаны на подборке публикаций из ведущих журналов, таких как JAMA, The New England Journal of Medicine, The BMJ, The Lancet и Nature Medicine. На следующем этапе они прогнали тексты через детектор плагиата и сравнили их с оригинальными публикациями. Детектор плагиата при прогоне не обнаружил плагиата.
Затем перед исследовательской группой была поставлена задача отличить подлинные сводки от поддельных. В качестве контрольной группы использовали выходной детектор КИ. Это следует использовать, чтобы узнать, какие тексты были сгенерированы искусственным интеллектом.
Детектор вывода ИИ попал в 66 процентов резюме. Группа исследователей на людях справилась немного лучше. Он смог идентифицировать 68 процентов сгенерированных текстов как подделки и 32 процента поддельных резюме, которые, как он обнаружил, были написаны людьми. Попадание оригинальных текстов составило 82 процента. Однако группа классифицировала 14 процентов первоначальных материалов как подделки ИИ.
Каковы этические ограничения при использовании чат-ботов?
Кэтрин Гао, руководитель исследовательского проекта, ясна: «ChatGPT пишет заслуживающие доверия научные рефераты». Но она также обеспокоена тем, что «пределы этического и приемлемого использования больших языковых моделей для поддержки научного письма» еще не установлены.
Вахтер считает использование чат-ботов для научных исследований социально опасным. Научные исследования будут играть очень важную роль в нашем обществе, и на их основе могут быть приняты неправильные политические решения. Если ученые даже не могут с уверенностью определить, правдива ли публикация, это может иметь "плохие последствия".
Однако ученый-компьютерщик Арвинд Нараянан из Принстонского университета в Нью-Джерси считает маловероятным, что серьезные ученые будут использовать ChatGPS для создания научных текстов. Он считает, что бот не может дать «точное и убедительное резюме». Он также критикует институты, чьи «порочные стимулы» побуждают их использовать чат-ботов для создания текстов. Университеты будут «нанимать и продвигать по службе, подсчитывая работы, не обращая внимания на их качество или влияние».
Ирен Солейман из ИИ-компании Hugging Face (базируется в Нью-Йорке и Париже) и так видит проблему для современных исследований: «Эти модели обучаются на основе информации из прошлого, а социальный и научный прогресс часто может быть результатом тот факт, что вы думаете иначе или готовы думать иначе, чем в прошлом». Поэтому ученым и исследователям не следует полагаться на использование этих ботов.
Подпишитесь на DDIntel Здесь.
Посетите наш сайт здесь: https://www.datadriveninvestor.com
Присоединяйтесь к нашей сети здесь: https://datadriveninvestor.com/collaborate
