Публикации по теме 'ai-safety'


Руководство для начинающих о том, что ИИ пошел не так, как надо: что делает плохой ИИ плохим.
Раскройте тайну данных, дизайна и выравнивания ИИ Введение Искусственный интеллект (ИИ) или машинное обучение (МО) — одна из определяющих новых технологий 21 века. ИИ встречается во всех аспектах современной жизни — от развлечений до здравоохранения, транспорта и так далее. Однако по мере того, как ИИ получает все большее распространение и значение в обществе, все больше внимания уделяется этическим вопросам и вопросам безопасности в ИИ. Что делает ИИ «плохим»? Какие этические..
Раскрытие теней зарождающегося ИИ: обман и оптимизация
Введение ИИ развивается с поразительной скоростью, создавая новые и непредвиденные проблемы. В наводящей на размышления записи блога под названием «Эмерджентный обман и эмерджентная оптимизация» автор углубляется в интригующую концепцию эмерджентных возможностей в системах машинного обучения. Анализируя принципы снижения потерь при обучении и конкурирующие эвристики, автор предвидит появление двух конкретных возможностей, которые могут иметь важные последствия для развития ИИ: обман и..
Проблема внутреннего выравнивания
ПОДКАСТ Проблема внутреннего выравнивания Эван Хубингер о создании безопасных и честных ИИ Примечание редактора. Этот выпуск является частью нашей серии подкастов о новых проблемах в области науки о данных и машинного обучения , которую ведет Джереми Харрис. Помимо размещения подкаста, Джереми помогает запустить стартап по наставничеству в области науки о данных под названием SharpestMinds . Как вы можете узнать, что сверхразумный ИИ пытается сделать то, что вы его просили?..
Состязательная атака для модели семантической сегментации
Мы живем в том возрасте, когда нас окружают машины, некоторые из которых работают на основе технологий глубокого обучения. Надо признать, что глубокое обучение оказалось успешным. Люди называют это чем-то вроде пузыря, который может лопнуть, но сейчас он решает некоторые важные проблемы, которые раньше казалось почти невозможными для машин. Глубокое обучение дает ответы на некоторые сложные проблемы. Проблемы варьируются от создания описаний для изображений до ответов на вопросы об..
Как игры-помощники делают ИИ безопаснее
И как они не Системы искусственного интеллекта становятся все более мощными и на них возлагается больше ответственности, от вождения автомобиля до торговли на фондовом рынке. Таким образом, становится ясно, что согласование их поведения с человеческими намерениями является критической проблемой безопасности. Традиционный подход к обучению с подкреплением позволяет пользователю создать сигнал вознаграждения ИИ только один раз перед тренировкой, и сделать это правильно известно сложно ...
Машина разучится в 2023 году: где мы находимся и куда она движется
Краткое изложение парадигм и методов машинного отучения, мотивации машинного отучения, текущих проблем и перспектив на будущее. Вы когда-нибудь не спали по ночам, а ваш мозг проигрывал отрывок из того ужасно смущающего воспоминания, которое вы хотели бы просто забыть? Сохранение определенных воспоминаний в нашей памяти может быть неприятным, контрпродуктивным или даже вредным. Если бы только наш человеческий мозг мог что-то забыть, мы хотели бы этого. Что ж, оказывается, машины и..
Выявление недобросовестного или небезопасного ИИ с помощью графических критериев
Как использовать диаграммы причинно-следственных связей, чтобы распознать скрытые стимулы, формирующие поведение агента ИИ Справедливость и безопасность продвинутых систем машинного обучения вызывают законные опасения. Чтобы устранить корень проблемы, исследователи могут проанализировать стимулы, создаваемые алгоритмом обучения, с помощью диаграмм причинно-следственных связей (CID). Среди прочего, компания DeepMind Safety Research написала о своем исследовании CID , и я уже писал ранее о..