Я рад объявить о выпуске своей первой книги Deep Learning Illustrated.

Глубокое обучение трансформирует программное обеспечение, способствует появлению новых мощных возможностей искусственного интеллекта и обеспечивает беспрецедентную производительность алгоритмов. Deep Learning Illustrated уникально наглядно, интуитивно понятно и доступно, но при этом предлагает исчерпывающее введение в методы и приложения дисциплины.

В книге есть полноцветные иллюстрации и понятный код. Книга устраняет большую часть сложностей, связанных с построением моделей глубокого обучения, делая предмет доступным и увлекательным для изучения.

Используя важный материал, предоставленный моим коллегой Грант Бейлевельд, и прекрасные иллюстрации Аглае Бассенс, мы представляем прямые аналогии, чтобы объяснить, что такое глубокое обучение, почему оно стало таким популярным и как оно соотносится с другими подходами к машинному обучению. Книга предлагает практическое руководство и руководство для всех, кто хотел бы начать применять глубокое обучение, включая разработчиков, специалистов по обработке данных, исследователей, аналитиков и студентов.

Мы покрываем основную теорию с помощью как можно меньшего количества математики, предпочитая освещать концепции с помощью практического кода Python и практических прогонов в сопровождающих записных книжках Jupyter (доступный с открытым исходным кодом на GitHub здесь).

Чтобы помочь вам быстро развиваться, мы сосредоточены на универсальной высокоуровневой библиотеке глубокого обучения Keras для быстрого создания эффективных моделей TensorFlow. Также рассматривается PyTorch, ведущая альтернативная библиотека.

Проработав книгу, читатели получат прагматическое понимание всех основных подходов к глубокому обучению и их использования в различных приложениях, от машинного зрения и обработки естественного языка до создания изображений и игровых алгоритмов. В частности, читатели будут:

  • Узнайте, что делает системы глубокого обучения уникальными, и их значение для практиков
  • Изучите новые инструменты, которые упрощают создание, использование и улучшение моделей глубокого обучения.
  • Изучите основную теорию: искусственные нейроны, глубокие сети прямого распространения, обучение, оптимизация, сверточные сети, повторяющиеся сети, генеративные состязательные сети (GAN), глубокое обучение с подкреплением и многое другое.
  • Пройдите через создание интерактивных приложений для глубокого обучения и продвигайтесь вперед с собственными проектами в области искусственного интеллекта.

Deep Learning Illustrated теперь можно заказать по всему миру, например, через Amazon, Barnes & Noble, а копии будут отправлены летом. Тем временем цифровой черновой вариант всей книги стал доступен в Safari Books (который предлагает бесплатные 10-дневные пробные версии) на этой неделе.

Содержание книги следующее.

Часть I. Введение в глубокое обучение

Глава 1: Биологическое и машинное зрение

  • Биологическое зрение
  • Машинное зрение (Neocognitron; LeNet-5; традиционный подход к машинному обучению; ImageNet и ILSVRC; AlexNet)
  • TensorFlow PlayGround
  • Игра Quick, Draw!

Глава 2: Человеческий и машинный язык

  • Глубокое обучение для обработки естественного языка (сети глубокого обучения автоматически изучают представления; краткая история глубокого обучения для НЛП)
  • Вычислительные представления языка (горячие представления слов; векторы слов; арифметика векторов слов; word2viz; локальные и распределенные представления)
  • Элементы естественного человеческого языка
  • Google Duplex

Глава 3: Машинное искусство

  • Пьяный всю ночь
  • Арифметика на поддельных человеческих лицах
  • Передача стиля: преобразование фотографий в Моне (и наоборот)
  • Сделайте свои собственные эскизы фотореалистичными
  • Создание фотореалистичных изображений из текста
  • Обработка изображений с использованием глубокого обучения

Глава 4: Игровые автоматы

  • Глубокое обучение, искусственный интеллект и другие чудовища (искусственный интеллект, машинное обучение, репрезентативное обучение, искусственные нейронные сети)
  • Три категории проблем машинного обучения (контролируемое обучение, неконтролируемое обучение, обучение с подкреплением)
  • Глубокое обучение с подкреплением
  • Видеоигры
  • Настольные игры (AlphaGo, AlphaGo Zero, AlphaZero)
  • Манипулирование объектами
  • Популярные среды обучения с подкреплением (OpenAI Gym, DeepMind Lab, Unity ML-Agents)
  • Три категории ИИ (искусственный узкий интеллект, общий искусственный интеллект, искусственный суперинтеллект)

Часть II: Иллюстрированная основная теория

Глава 5: Тележка (Код), опережающая (Теоретическую) лошадь

  • Предварительные требования
  • Установка
  • Мелкая нейронная сеть в Keras (рукописные цифры MNIST, схематическая диаграмма сети, загрузка данных, переформатирование данных, проектирование архитектуры нейронной сети, обучение модели глубокого обучения)

Глава 6: Искусственные нейроны, обнаруживающие хот-доги

  • Биологическая нейроанатомия 101
  • Персептрон (детектор хот-догов / не хот-догов; самое важное уравнение в книге)
  • Современные нейроны и функции активации (сигмовидные нейроны; Tanh Neurons; ReLU: выпрямленные линейные единицы)
  • Выбор нейрона

Глава 7: Искусственные нейронные сети

  • Входной слой
  • Плотные слои
  • Плотная сеть, обнаруживающая хот-дог (прямое распространение через первый скрытый слой; прямое распространение через последующие уровни)
  • Уровень Softmax сети классификации фастфуда
  • Еще раз о нашей неглубокой нейронной сети

Глава 8: Обучение глубоких сетей

  • Функции затрат (квадратичная стоимость; насыщенные нейроны; кросс-энтропийная стоимость)
  • Оптимизация: обучение для минимизации затрат (градиентный спуск; скорость обучения; размер пакета и стохастический градиентный спуск; выход за пределы локального минимума)
  • Обратное распространение
  • Настройка количества скрытых слоев и нейронов
  • Промежуточная сеть в Керасе

Глава 9: Улучшение глубоких сетей

  • Инициализация веса (Xavier Glorot Distributions)
  • Нестабильные градиенты (исчезающие градиенты; растущие градиенты; пакетная нормализация)
  • Обобщение модели - предотвращение переобучения (регуляризация уровней L1 и L2; исключение; расширение данных)
  • Необычные оптимизаторы (Momentum; Nesterov Momentum; AdaGrad; AdaDelta и RMSProp; Adam)
  • Глубокая нейронная сеть в Керасе
  • Регрессия
  • TensorBoard

Часть III: Интерактивные приложения глубокого обучения

Глава 10: Машинное зрение

  • Сверточные нейронные сети (двумерная структура визуальных изображений; вычислительная сложность; сверточные слои; несколько фильтров; сверточный пример; гиперпараметры сверточного фильтра; длина шага; заполнение)
  • Объединение слоев
  • LeNet-5 в Керасе
  • AlexNet и VGGNet в Керасе
  • Остаточные сети (исчезающие градиенты: Bête Noire глубоких CNN; остаточное соединение)
  • Приложения машинного зрения (обнаружение объектов; сегментация изображений; передача обучения; капсульные сети)

Глава 11: Обработка естественного языка

  • Предварительная обработка данных естественного языка (токенизация; преобразование всех символов в нижний регистр; удаление стоп-слов и знаков препинания; разбиение по краям; обработка n -грамм; предварительная обработка всего корпуса)
  • Создание вложений слов с помощью word2vec (основная теория word2vec; оценка векторов слов; выполнение word2vec; построение векторов слов)
  • Площадь под кривой ROC (матрица неточностей; расчет метрики ROC AUC)
  • Классификация естественного языка с использованием знакомых сетей (загрузка обзоров фильмов IMDB; изучение данных IMDB; стандартизация длины обзоров; плотная сеть; сверточные сети)
  • Сети, предназначенные для последовательных данных (рекуррентные нейронные сети; блоки долгосрочной краткосрочной памяти; двунаправленные LSTM; составные рекуррентные модели; Seq2seq и внимание; передача обучения в NLP)
  • Непоследовательные архитектуры: функциональный API Keras

Глава 12: Генеративные состязательные сети

  • Основная теория GAN
  • Игра «Быстро, рисуй!» Набор данных
  • Сеть Дискриминатора
  • Генераторная сеть
  • Состязательная сеть
  • GAN Обучение

Глава 13: Глубокое обучение с подкреплением

  • Основная теория обучения с подкреплением (игра «тележка-полюс»; марковские процессы принятия решений; оптимальная политика)
  • Основная теория сетей глубокого Q-обучения (функции ценности; функции Q-значения; оценка оптимального Q-значения)
  • Определение агента DQN (параметры инициализации; построение модели нейронной сети агента; запоминание игрового процесса; обучение через воспроизведение памяти; выбор действия; сохранение и загрузка параметров модели)
  • Взаимодействие с тренажерным залом OpenAI
  • Оптимизация гиперпараметров с помощью SLM Lab
  • Agents Beyond DQN (градиенты политики и алгоритм REINFORCE; алгоритм критики и исполнителя)

Часть IV: Вы и AI

Глава 14: Движение вперед с собственными проектами глубокого обучения

  • Идеи для проектов глубокого обучения (машинное зрение и GAN; обработка естественного языка; глубокое обучение с подкреплением; преобразование существующего проекта машинного обучения)
  • Ресурсы для дальнейших проектов (социально-выгодные проекты)
  • Процесс моделирования, включая настройку гиперпараметров (автоматизация поиска гиперпараметров)
  • Библиотеки глубокого обучения (Keras и TensorFlow; PyTorch; MXNet, CNTK, Caffe и не только)
  • Программное обеспечение 2.0
  • Приближение к общему искусственному интеллекту

Джон Крон - главный специалист по данным в компании по машинному обучению untapt. Он представляет серию популярных руководств, опубликованных Addison-Wesley, в том числе Глубокое обучение с помощью TensorFlow и Глубокое обучение для обработки естественного языка. Джон преподает свою учебную программу по глубокому обучению в классе в NYC Data Science Academy и читает лекции в Колумбийском университете. Он имеет докторскую степень в области нейробиологии в Оксфордском университете и с 2010 года публикует материалы по машинному обучению в ведущих рецензируемых журналах.