ChatGPT попал в новости. Но хорошо ли это для работы, связанной с новостями? Я тестирую его во время одного из крупнейших новостных событий года в Сингапуре.

Бюджетный сезон — самое загруженное время года для редакций новостей в Сингапуре. День открытия дела, длящегося примерно месяц, как правило, самый напряженный, так как именно тогда министр финансов произносит длинную речь, наполненную новыми политическими заявлениями, которые журналисты и редакторы должны переварить и опубликовать в очень сжатые сроки.

Другими словами, это хорошая возможность проверить, подходит ли ChatGPT, большая языковая модель, которая покорила мир, для работы, связанной с новостями. Несмотря на его популярность с момента дебюта в конце 2022 года, остаются вопросы о том, можно ли полагаться на инструмент ИИ для «реальной» или «важной» работы. Что ж, давайте узнаем.

Для этого эксперимента я использовал платную версию ChatGPT, также известную как «ChatGPT Plus». Он якобы «оптимизирован по скорости» и более стабилен, в отличие от обычной общедоступной версии ChatGPT, которая может быть недоступна в часы пик.

Я использовал эту официальную общедоступную версию речи министра финансов Сингапура Лоуренса Вонга о бюджете на 2023 год для своих материалов ChatGPT. Речь из 13 837 слов была произнесена в парламенте 14 февраля 2023 года.

Тест №1: Подведение итогов

ChatGPT легко превосходит большинство моделей машинного обучения с открытым исходным кодом в резюмировании новостных статей, писем, комментариев и тому подобного. Но как насчет мелких деталей политики? Нет пота, кажется.

Модель ИИ легко справлялась с запросами на преобразование большого количества абзацев в маркированные списки. Но что меня поразило, так это его способность реорганизовывать резюме в удобный для чтения формат с тематическими подзаголовками. Все, что потребовалось, — это просто попросить ChatGPT преобразовать сводный текст в формат, который можно использовать в инфографике:

Более ранние итерации ChatGPT, такие как GPT-3, очень подвержены ошибкам в таких задачах «текст в текст», включающих несколько числовых значений. Например, GPT-3 имеет тенденцию выводить статистику или сумму в долларах, которых нет в исходном тексте.

Но из моих дюжины или около того попыток обобщить различные части речи о бюджете ChatGPT в основном избегал таких ошибок. Я столкнулся с ошибками только в двух отдельных сводках, где ChatGPT придумывал цифру в 3,5 миллиарда долларов в качестве стоимости множества полисов.

Как и его предшественник, ChatGPT продолжает сбивать с толку двусмысленными ссылками на время и даты, такими как «сегодня». В бюджетной речи, например, г-н Вонг объявил, что все сингапурские дети, имеющие право на участие, «родившиеся с сегодняшнего дня» получат более высокий денежный подарок в размере 3000 сингапурских долларов. Поскольку не было сказано, что речь состоялась 14 февраля, ChatGPT предположил, что политика вступит в силу с 2023 года, и написал об этом в своем резюме.

К настоящему времени никого не удивит, что ChatGPT может ошибаться. Но то же самое можно сказать и о журналистах, работающих в сжатые сроки.

Что совершенно ясно в моих тестах с конца 2022 года, так это то, что ChatGPT делает гораздо меньше ошибок, чем его предшественники, в таких задачах, как суммирование, и, на мой взгляд, это улучшение в значительной степени осталось незамеченным.

Тест № 2: список и изменение на лету

Большинство представленных на рынке инструментов для письма с искусственным интеллектом в настоящее время работают по принципу «раз и готово, принимай или оставляй», что означает, что вы либо принимаете предложенный вывод модели, либо полностью отклоняете ее и пробуете еще раз с другим вводом текста. Вы не можете улучшить или отрегулировать ответ модели, дав ей указание изменить фокус, тон или продолжительность исходного ответа.

Однако ChatGPT может запоминать свой разговор с пользователем (до определенного момента) и соответствующим образом изменять вывод. В приведенном ниже простом примере я попросил ChatGPT создать список из 10 основных фактов, которые нужно знать о финансовом положении и экономических перспективах Сингапура, после того как в модель были загружены соответствующие абзацы из трех разных разделов выступления.

Первый ответ ChatGPT (см. скриншот слева) был исправен. Как постоянный читатель, я бы скорее прочитал это, чем длинную новостную статью.

Но я передумал и посчитал, что первоначальный список был слишком скудным. Поэтому я ввел новую подсказку в том же чате и попросил ChatGPT переделать список, но уточнить каждый пункт, соблюдая максимум три предложения в каждом.

Новый список находится справа. Вы можете внести дополнительные изменения, например, изменить порядок элементов или удалить те, которые вы считаете ненужными.

Возможность проинструктировать и уточнить ответы ChatGPT на лету — один из самых больших прорывов в области искусственного интеллекта за последние годы, который делает его привлекательным и практичным для использования в редакциях, где решения могут быстро меняться.

Один из распространенных опасений автоматизированного или сгенерированного искусственным интеллектом контента среди пользователей отдела новостей заключается в том, что они могут в конечном итоге публиковать тот же шаблонный контент, что и их конкуренты. Способность ChatGPT улучшать свои ответы на основе уникального пользовательского ввода снижает вероятность такого смущения.

Тест № 3: написание новостных статей и повторная рыбалка

ChatGPT способен имитировать узнаваемый стиль журналистского письма, но только до определенного момента.

В приведенном ниже примере я сначала дал ChatGPT соответствующие абзацы о недавно объявленных усилиях по поддержке семей и родителей и поручил модели написать новостную статью, не указывая, на какой политике сосредоточиться. Затем я попросил ChaGPT сократить черновик и изменить угол истории, чтобы сосредоточиться на «детском бонусе»:

Оба черновика будут сочтены приемлемыми для случайных читателей, но не для редакторов отделов новостей. Во-первых, ChatGPT не знает, когда добавить релевантные прямые цитаты ньюсмейкера, и вместо этого перефразирует исходную речь таким же образом, абзац за абзацем.

В обоих черновиках также было исключено уважительное обращение к ньюсмейкеру и везде использовалось американское правописание. Абзацы «короткие» и трудночитаемые.

Во втором черновике справа ChatGPT допустил фактическую ошибку, заявив, что денежный подарок будет увеличен для подходящих сингапурских детей, родившихся с 2023 года. В своем выступлении 14 февраля г-н Вонг сказал, что увеличение будет применяться к детям. «рожденный от сегодняшнего дня». Это общая проблема с моделями GPT, восходящая к их самым ранним воплощениям.

Но давайте проясним: это не катастрофические ошибки. Любой, кто работал с новичками или измотанными журналистами, сталкивался с худшим. В каждом отделе новостей есть установленная система проверок перед публикацией, и нет причин, по которым ее нельзя применять — возможно, более строго — к контенту, созданному ИИ.

Между тем, другие редакторы будут спорить с тоном и стилем написания черновиков ChatGPT. К сожалению, эти стилистические проблемы не могут быть адекватно решены до тех пор, пока OpenAI не разрешит процесс, называемый «точной настройкой», когда вы можете создать индивидуальную версию модели GPT, используя свои собственные данные.

В целом, я очень впечатлен способностью ChatGPT изменять угол обзора и реорганизовывать черновики историй на лету. Подобные ручные «переделки» могут быть болезненными в отделах новостей, в некоторых крайних случаях занимая часы. Это одна из областей, где я вижу, как ChatGPT избавляет редакторов и журналистов от многих проблем.

Я также протестировал ChatGPT на множестве других задач, таких как перевод и анализ тональности речи мистера Вонга. Я даже попросил ChatGPT создать комментарии, аргументирующие и противодействующие конкретному изменению политики в речи о бюджете на этот год.

Возможности кажутся безграничными, поэтому я оставлю некоторые из этих примеров на другой раз.

Не может написать ошибку без ИИ?

Подождите, — можете сказать вы. А как насчет всех этих новостных сообщений и сообщений в социальных сетях, которые я видел об «ошибках ChatGPT и этого несколько впечатляющего примера версии ChatGPT от Microsoft, которая выходит из строя?»

Я не повторял все эти ошибки, но я определенно сталкивался с ними, экспериментируя с ChatGPT в последние месяцы. Мне также удалось воссоздать вирусный «быстрый взлом», который мог заставить ChatGPT реагировать язвительным умником, известным как DAN (сокращение от Do Anything Now).

Но главное для меня то, что эти проблемы не умаляют очень реальной пользы, которую я получаю от использования ChatGPT для широкого круга задач, связанных с написанием и редактированием новостей. Во многом ваш уровень комфорта с этим инструментом будет зависеть от того, насколько вы хотите купить шумиху и страх, окружающие ИИ.

Я рассматриваю ChatGPT с точки зрения очень узкого варианта использования — мощного помощника по написанию и редактированию. Меня не интересуют случайные беседы с моделью ИИ или использование ее в качестве оракула, сборщика акций или поисковой системы. И я использую ChatGPT только для написания и редактирования задач, связанных с информацией, которую я могу легко проверить.

Короче говоря, я использую ChatGPT строго по принципу «низкое доверие, всегда проверяй» — подход, который я использую со всеми продуктами ИИ/машинного обучения. Если вы хотите слепо доверять ChatGPT или использовать его в необычных целях, вы должны быть готовы к неожиданным и потенциально плохим последствиям.

Это, несомненно, вызовет некоторый дискомфорт у пользователей отдела новостей, которые привыкли к программному обеспечению и инструментам, поведение которых предсказуемо. К сожалению, ChatGPT — это новый класс мощных технологий, но не полностью предсказуемый по замыслу. Даже его создатели до сих пор пытаются разобраться во всех возможностях и ограничениях модели.

Но до тех пор, пока вы четко понимаете задачи написания и редактирования, для которых используете ChatGPT, и придерживаетесь набора заезженных правил редакции, рисками, на мой взгляд, можно управлять.

И, безусловно, потребуется немного практики и экспериментов, прежде чем вы приобретете достаточно опыта, чтобы хорошо использовать ChatGPT.

Хотя это и не идеальная аналогия, я бы сказал, что использование ChatGPT очень похоже на вождение автомобиля. В руках новичка или безрассудного водителя он может вызвать хаос на дорогах и подвергнуть опасности окружающих. Но если вы пройдете тест, едете осмысленно и соблюдаете правила дорожного движения, то это сэкономит ваше время и довезет до места назначения с комфортом.

Вы не можете полностью исключить риски вождения на дорогах, и время от времени случаются аварии. Но рисками можно управлять, и миллионы людей по всему миру успешно это сделали.

То, что верно для вождения, будет применимо к ИИ в ближайшие месяцы и годы.

Как всегда, если вы обнаружите ошибки в этом или любом из моих предыдущих постов, пишите мне по адресу:

PS: Эта статья не была написана ChatGPT, хотя, возможно, мне следует попытаться использовать ее для моего следующего поста на Medium.