Я только что вернулся с двухдневной конференции , посвященной этике и безопасности передового ИИ, которая проходила в Нью-Йорке. Около двух десятков спикеров, в том числе несколько корифеев, таких как Стивен Вольфрам, Дэниел Канеман, Ян Лекун и Стюарт Рассел, изучали способы обеспечения того, чтобы будущие ИИ не причиняли нам вреда или, если на то пошло, причинять вред. Несмотря на несколько очень умных ораторов и несколько интересных бесед и дискуссий, в целом эти обсуждения казались..

Алгоритм Facebook как искусственный интеллект Если бы кто-то придерживался упрощенческого мышления, то алгоритм ленты Facebook можно было бы рассматривать как первый случай, когда искусственный интеллект вышел из-под контроля. Предполагается, что перед этим алгоритмом машинного обучения была поставлена ​​задача убедиться, что мы проводим как можно больше времени на сайте и как можно больше взаимодействуем. В результате получилось самое захватывающее зрелище на земле: зрелище наших..

Виктория Краковна Серьезной проблемой в области безопасности ИИ является надежное определение предпочтений человека в отношении систем ИИ. Неверная или неполная спецификация цели может привести к нежелательному поведению, такому как игра со спецификациями или вызвать отрицательные побочные эффекты . Существуют различные способы уточнить понятие побочный эффект — я думаю о нем как о нарушении среды агента, которое не нужно для достижения его цели. Например, если робот несет..

Авторы Сиддхарт Редди и Ян Лейке. Размещено с веб-сайта DeepMind. TL; DR: мы представляем метод обучения агентов обучения с подкреплением на основе отзывов людей при наличии неизвестных небезопасных состояний. Когда мы обучаем агентов обучения с подкреплением (RL) в реальном мире, мы не хотим, чтобы они исследовали небезопасные состояния , такие как загонять мобильного робота в канаву или писать неловкое электронное письмо своему начальнику. Обучение агентов RL при наличии..