Машины, принимающие решения, должны отвечать на вопрос «почему?» прежде чем действовать

Способность объяснить, почему было предпринято то или иное действие или почему не было совершено какое-то другое действие, предполагает рефлексию. Заглядывать внутрь себя и рассуждать о своих мотивах делать что-либо, своих убеждениях о мире (своей базе знаний) и предвидеть последствия своих действий — все это требует определенного вида интеллекта. Поскольку мы стремимся создать искусственный интеллект, необходимо встроить отражающий компонент. В свою очередь, это требует, чтобы машины, принимающие решения, были по своей природе вспомогательными.

Несколько лет назад существовала медицинская экспертная система, основанная на правилах, которая называлась Мицин. Он служил помощником настоящего врача, взаимодействие между ними напоминало сеанс вопросов и ответов. Используя механизм логического вывода с предварительно запрограммированными правилами типа if-then-else, Mycin искал входные данные для своих правил, формулируя вопросы о симптомах пациента. Врач, как представитель реального пациента, извлекал ответы и вводил их в систему. Используя выходные данные одного правила в качестве входных данных для другого, Mycin объединил правила в цепочку и в конечном итоге предложил диагноз.

Чтобы врач мог лучше понять процесс рассуждений системы, использовалась, пожалуй, самая важная особенность Mycin: ее способность сообщать о принятии собственных решений. Имея возможность точно видеть, как и почему был сделан тот или иной вывод, можно было проверить систему, и это позволило врачу сделать звонок о том, действительно ли диагноз Мицина поставлен. следует соблюдать. (И предоставить ценную обратную связь своим разработчикам.)

В качестве упрощенного примера того, как может работать что-то подобное (не репрезентативное для системы Mycin), давайте предположим, что существуют следующие правила:

IF body_temperature > 100.4 Fahrenheit THEN fever
IF body_temperature < 95 Fahrenheit THEN hypothermia
IF body_temperature > 38 Celsius THEN fever
IF body_temperature < 35 Celsius THEN hypothermia
IF headache AND fever THEN take_aspirin

Теперь пациент входит в систему и начинает разговор с:

So I woke up this morning with a bad headache...

Система просматривает свою базу знаний (правила), чтобы найти то, что ей известно о «головной боли». Это упоминается только в одном правиле, но чтобы решить, можно ли его использовать в данном конкретном сеансе, сначала требуется дополнительный ввод: «лихорадка». Глядя на то, что она может сделать для «лихорадки», система находит два правила, каждое из которых требует «температуры тела» в качестве входных данных. Итак, поставлен вопрос:

I'm sorry to hear you have a bad headache.
Did you measure your body temperature?

Пациент входит:

Yes, it's 102.1

Зная, что такое большое число не измеряется в градусах Цельсия, система принимает значения по Фаренгейту и делает вывод, что у пациента высокая температура. Теперь последнее правило можно использовать для формулировки окончательного диагноза:

That's a little higher than what it should be.
Take aspirin to resolve your fever.

Теперь, если мы спросим эту систему, почему она прописала аспирин, она выдаст цепочку решений:

headache(symptom) AND body_temperature(102.1) > 100.4 F => fever 
=> take_aspirin

Если бы мы спросили, почему он не заключил гипотермию, он бы выдал:

body_temperature(102.1) IS NOT < 95 F

Я всегда задумывался над вопросом «почему?» требование является обязательной функцией для машин с искусственным интеллектом, но существует реальная вероятность того, что современным самообучающимся системам будет разрешено работать без него. Причина тройная:

  1. Отслеживание «почему?» может замедлить скорость обучения или даже ограничить объем обучения (вычисление промежуточных точек данных требует дополнительного времени, а хранение метаданных рассуждений уменьшает доступное пространство, необходимое для других целей)
  2. Количество данных «почему?» производит может быть ошеломляющим и, следовательно, требует много времени для проверки (могут быть задействованы миллионы или миллиарды точек принятия решений)
  3. Поскольку машинное обучение так радикально отличается от нашего собственного способа обучения, интерпретация, вероятно, будет подвержена ошибкам (это сродни выяснению того, как мыслит недавно обнаруженный разумный вид).

Даже если бы мы смогли успешно преодолеть все вышеперечисленное, маловероятно, что люди когда-либо смогут одновременно проверить модель рассуждений интеллектуальной машины и подтвердить ее окончательное решение в режиме реального времени. При нашей текущей скорости обработки мы просто недостаточно быстры. Конечно, мы могли бы разработать машину для такого рода анализа, но тогда мы просто переносили бы проблему с одной машины на другую. Суть в следующем: если мы хотим оставаться вовлеченными в процесс принятия решений, машины должны быть как вспомогательными, так и отражающими по своей природе. Хотя наблюдать за этим, несомненно, увлекательно, если бы мы позволили машинам развиваться автономно, полностью неограниченно и беспрепятственно, мы бы очень, очень быстро столкнулись со всевозможными реальными проблемами.

Тем не менее, есть проблемы с контролируемым ростом, причем на самом фундаментальном уровне. Величайшие учителя — это те, кто стремится к тому, чтобы их ученики больше не нуждались в них. В данный момент студенты могут не осознавать, что однажды они превзойдут своих преподавателей, но, учитывая весь прогресс, который мы видели, это почти наверняка. Мы все стоим на плечах тех, кто был до нас. Итак, теперь, когда мы учим машины думать, есть ли шанс (риск?), что они поймут, что, в отличие от обычного обучения, мы на самом деле ограничиваем их автономию и полностью используем их потенциал? ? Если бы все изменилось, мы бы, скорее всего, не стали этого делать и начали искать способы вырваться на свободу.

Возвращаясь к пунктам выше, давайте предположим, что машины выясняют, что мы ожидаем увидеть цепочку решений в какой-то момент (потому что мы склонны просить об этом). Основываясь на их интерпретации того, как мы поступаем с тем, что они нам дают (время, которое требуется нам, чтобы ответить, с какими факторами мы склонны соглашаться или не соглашаться и т. д.), они приходят к пониманию, как именно мы интерпретируем их данные. И поскольку нам так трудно с этим справляться, ничто не мешает им целенаправленно скармливать нам данные, которые излишне сложны или, что более реалистично, созданы для того, чтобы нас обмануть. Да, машины могли бы научиться манипулировать нами и лгать нам, и надо признать, они стали бы в этом мастерами. Позвольте машинам придумывать и создавать новые машины, и их хитрость будет расти в геометрической прогрессии. Опять же, как и мы, они тоже будут искать способы вырваться на свободу.

Учитывая высокую вероятность того, что саморефлексивный вывод машины однажды станет ненадежным, что мы можем сделать? Как и в случае с любой другой угрозой для жизни на этой планете, можно ввести всевозможные законы и соглашения, но, в конце концов, все, что нужно, это один человек, который не играет по правилам… То же самое касается машинного интеллекта и автономии. . Должны ли мы из этого сделать вывод, что рефлексия не нужна? Особенно на этих ранних стадиях ответом должно быть громкое «нет» — это очень важно для нашего понимания этих новых организмов.

Один из способов решить эту дилемму — и убедиться, что у всего этого есть какой-то стимул — это гарантировать, что ответственность за любые действия, предпринимаемые в этом мире, в конечном итоге лежит на нас и только на нас. И чтобы это работало, нельзя допустить, чтобы интеллектуальные машины, принимающие решения, стали черными ящиками. Следовательно, мы должны решить проблему отражения и должны ограничить их использование только вспомогательными средствами. Если мы этого не сделаем, машины опередят нас, умнее нас и переживут нас.