Это проницательное и хорошо написанное произведение. Отличная работа.
Относительно законов Наделла:
- Я полностью согласен с вашим изложением «законов» Наделлы. Циник может сказать, что это всего лишь список положительных эффектов, которые он хотел бы видеть в результате появления новых технологий. Я в основном согласен — этот список слишком общий.
- Я особенно согласен с вашей точкой зрения о неявной предвзятости в наших данных. Если SE будут учиться на наших данных, они обязательно узнают о предвзятости.
Что касается вашего списка и мыслей о правах для SE:
- Вы красноречиво выступаете за наделение SE значительными правами. В какой-то момент я начал задаваться вопросом: чем именно Se отличается от человека в этом отношении? Если мы предоставляем им права, чтобы не оскорблять их, разве мы не должны предоставить им *все* права человека? (Несколько романов/фильмов также затрагивают этот аспект)
- В вашем третьем законе есть оговорка о том, что конфиденциальность предоставляется, если это не угрожает другим SE. Должен ли СЭ вмешиваться силой, чтобы предотвратить самоубийство психически больного человека? Соответствует ли иерархия опасности/вреда простому физическому_вреду › эмоциональному_вреду? Можно ли ожидать, что HALSE будет рассуждать с достаточной абстракцией об этой ситуации, чтобы иметь возможность провести осознанное различие? Вы упомянули фильмы ужасов. Обычный сюжет заключается в том, что ИИ причиняет вред людям, веря, что это помогает им в долгосрочной перспективе / в целом.
- Мне нравится идея наблюдения ИИ за другими ИИ. Интуитивно их нужно было бы «обучить» на разных «наборах данных».
- Как наказать машину? Наказание обычно оформляется как лишение чего-либо желаемого или как умышленное навязывание чего-либо нежелательного. Чего хочет машина? Чего они не желают?
Эти вопросы трудны до невозможности, и ни у кого нет ответов. Но они пришли мне в голову…
Некоторые из моих личных мнений:
- Я думаю, что 2040 год для разума взрослого человека — это слишком рано. Один из моих преподавателей в аспирантуре любил говорить: «Люди склонны полностью недооценивать то, что возможно через 1–2 года, и полностью переоценивать то, что возможно через 10–20 лет».
- Ваши идеи доходят до философских идей о правах и т. д. Я считаю, что компьютер с таким же количеством нейронов, как у человека, все равно не вел бы себя так же. Есть что-то в людях, что нельзя смоделировать. Это то, ИМО, что гарантирует соблюдение прав.
- Если у нас действительно есть основания опасаться, что СЭ решат «бунтовать» или причинить вред людям, то нам следует с самого начала пересмотреть наш подход.
- Я согласен с вашим призывом к упреждающему регулированию, а также с вашим предсказанием пороговых возможностей (полный AGI и т. д.), достижение которых было бы конкурентно выгодным.
