- Эммануэль Амейсен, Бен Регнер, Джереми Карновски
Хотите узнать о прикладном искусственном интеллекте от ведущих практиков из Кремниевой долины или Нью-Йорка? Узнайте больше о Программе стипендиатов Insight Artificial Intelligence Fellows Program.
Вы - компания, работающая в области искусственного интеллекта, и хотели бы принять участие в программе Insight AI Fellows Program? Не стесняйтесь связаться.
NIPS стартовал сегодня, и он уже побил все предыдущие рекорды. Конференция собрала более 8000 участников и, похоже, находится на кривой непрерывного роста. Мероприятие началось сегодня с учебных пособий, охватывающих широкий круг тем, чтобы познакомить всех с последними разработками в различных подполях. Ниже приведены несколько ключевых выводов из бесед, в которых мы участвовали, которые мы сочли особенно интересными. Читайте дальше, чтобы узнать, о чем думают лучшие умы в области искусственного интеллекта. А если вы хотите увидеть еще больше интересных исследований в области глубокого обучения, ознакомьтесь с нашими Лучшими днями 2 и 3 днями.
Глубокое обучение, практика и тенденции
Нандо де Фрейтас, Скотт Рис, Ориол Виньялс
В этом выступлении был дан подробный обзор текущего состояния и последних достижений в области глубокого обучения. Сверточные нейронные сети (CNN) и модели авторегрессии начинают повсеместно использоваться в производстве, демонстрируя быстрый переход от исследований к промышленности. Эти модели научили нас, что введение индуктивных предубеждений, таких как инвариантность трансляции (CNN) или повторяемость во времени (рекуррентные нейронные сети), может быть чрезвычайно полезным. Мы также обнаружили, что простые уловки, такие как Остаточные сети или Внимание, могут привести к огромным скачкам в производительности. Есть веские основания полагать, что таких уловок будет еще больше. Забегая вперед, можно отметить несколько интересных областей исследований:
- Слабо контролируемые сопоставления доменов: обучение переводу из одного домена в другой без явных пар ввода / вывода. Конкретные примеры включают автокодировщики или недавние варианты генерирующих состязательных сетей (GAN), такие как CycleGAN или DiscoGAN.
- Глубокое обучение для графиков: многие входные данные, такие как сети друзей, рекомендации по продуктам или представления молекул в химии, можно представить в виде графиков. Графы как тип данных являются обобщением последовательностей, что делает их широко применимыми, но приводит к аналогичным проблемам при работе с данными последовательностей, таким как неэффективное пакетирование. Кроме того, трудно найти поддающееся обработке тензорное представление большинства графов. Нейронные сети с передачей сообщений - одна из предлагаемых структур для обучения с помощью графов.
- Нейронное программирование состоит в том, что нейронная сеть напрямую генерирует действующий исходный код (синтез программы) или генерирует выходные данные программы с использованием скрытого представления программы (индукция программы). Некоторые из первых потенциальных приложений создают программы, более устойчивые к шумным входам. RobustFill представляет нейронную версию функции Excel FlashFill, которая позволяет работать хорошо при добавлении шума к входным данным, в отличие от традиционной программы, которая быстро ломается.
Инжиниринг и обратный инжиниринг с использованием вероятностных программ, ознакомления с программами и глубокого обучения
Джош Тененбаум, Викаш К. Мансингка
Многие технологии искусственного интеллекта сегодня полагаются на распознавание образов. Однако авторы утверждают, что интеллект - это нечто большее, и что он заключается в объяснении мира, воображении возможных последствий и разработке плана решения проблем. Чтобы восполнить этот пробел, они предлагают решить две проблемы:
- Здравый смысл в понимании сцены: смотреть на фото недвижимости и понимать структуру зданий или угадывать цели персонажей на рисунке.
- Обучение как построение модели: понимание вещей путем построения ментальной модели того, как устроен мир. Например, предсказать, с какой стороны упадет башня из блоков, по ее неподвижному изображению.
Авторы описывают интуитивно понятный физический движок, который успешно предсказывает направление падения блоков. Эти модели, которые работают, создавая симуляцию мира, очень хорошо обобщаются и могут быть легко расширены, чтобы ответить на другие вопросы, например, что бы произошло, если бы одни блоки были тяжелее других?
Этот подход, основанный на «здравом смысле», может позволить учиться на меньшем количестве примеров, чем современное глубокое обучение, и уменьшить количество крайних случаев.
Справедливость в машинном обучении
Солон Барокас, Мориц Хардт
Этические дилеммы изобилуют машинным обучением, но часто получают мало внимания по сравнению с захватывающим дух освещением автономных автомобилей и искусственных игроков человеческого уровня. В этом руководстве была представлена отличная критика многих способов, которыми алгоритмы машинного обучения могут различать защищенные классы, таких как обучение несбалансированной выборке из-за институциональной политики, такой как остановка и проверка, обучение на предвзятых исторических данных или просто отсутствие учета естественного дисбаланса в буквальном смысле. классы меньшинств. После этого обзора формальные определения помещают эти проблемы в понятный формат. См. Здесь для примеров и подробностей.
Причинный вывод дает еще один инструмент для анализа дискриминации, но готовые решения редко существуют для понимания причинно-следственной связи. Возможно, самым интересным наблюдением было то, что измерения сами по себе являются моделями. Мы не можем измерить «интеллект», но мы можем измерить IQ. Мы не можем измерить «надежность», но мы можем измерить кредитный рейтинг. Эти меры являются лишь косвенными показателями и содержат предубеждения и предположения, которым редко уделяется должное внимание.
В конечном итоге нам нужно держать людей в курсе, если мы хотим быть уверены, что не позволим дискриминации проникнуть в наши модели. Комментаторы отметили, что когда AlphaGo победил Ли Седола, он сделал несколько явно бесчеловечных шагов. Когда мы полагаемся на алгоритмы для принятия важных для нас решений в жизненно важных областях, мы не должны удивляться бесчеловечным результатам.
В общем, очень интересный день. Следите за новостями, чтобы узнать больше о событиях следующих дней и о некоторых плакатах, которые привлекли наше внимание. Чтобы следить за обновлениями в реальном времени, подписывайтесь на Джереми и Ману в Twitter.
Хотите узнать о прикладном искусственном интеллекте от ведущих практиков из Кремниевой долины или Нью-Йорка? Узнайте больше о Программе стипендиатов Insight Artificial Intelligence Fellows Program.
Вы - компания, работающая в области искусственного интеллекта, и хотели бы принять участие в программе Insight AI Fellows Program? Не стесняйтесь связаться.
