В этом коротком посте мы обсудим «геометрическое глубокое обучение», тип глубокого обучения, который работает с графиками и данными трехмерных объектов. Если вы когда-нибудь захотите иметь дело с этими типами данных для бизнеса, полезно понять этот метод.
Вот пример кода: https://github.com/rusty1s/pytorch_geometric
Некоторые видеолекции: https://sungsoo.github.io/2018/02/01/geometric-deep-learning.html
И связанное сообщение в блоге: https://towardsdatascience.com/graph-convolutional-networks-for-geometric-deep-learning-1faf17dee008
Хорошо, приступим!
Подавляющая часть глубокого обучения выполняется на евклидовых данных. Все евклидовы данные включают изображения, текст, аудио и многие другие.
Неевклидовы данные могут представлять более сложные объекты и идеи с большей точностью, чем одномерное или двухмерное представление:
Когда мы представляем материал неевклидовым образом, мы придаем ему индуктивное смещение. Это основано на интуиции, что, учитывая данные произвольного типа, формата и размера, изменяя структуру этих данных, можно установить приоритет модели для изучения определенных закономерностей. Используемое индуктивное смещение является реляционным в большинстве современных исследований и литературы. Основываясь на этой интуиции, геометрическое глубокое обучение - это нишевая область под эгидой глубокого обучения, которая направлена на создание нейронных сетей, которые могут учиться на неевклидовой информации.
Граф - это первичный экземпляр неевклидова типа данных. Графы - это своего рода структура данных, состоящая из узлов (сущностей), соединенных ребрами. Эту абстрактную структуру данных можно использовать для моделирования практически чего угодно. Мы хотим учиться на графах, потому что: графы позволяют нам представлять индивидуальные характеристики, а также предоставлять информацию о взаимосвязях и структуре.
Существуют разные виды графов, каждый из которых имеет набор законов, характеристик и допустимого поведения. Теория графов изучает графы и то, что мы можем извлечь из них. Об этом будет рассказано в следующей части этой серии.
Примеры геометрического глубокого обучения. Это два наиболее распространенных приложения и основные направления изучения литературы. Их часто используют в качестве тестов (неофициальных).
Молекулярное моделирование и обучение
Мы можем взглянуть на вычислительные науки, чтобы дать конкретную иллюстрацию того, как обучение графов может улучшить текущие функции машинного обучения. Идеи, сущности и отношения представления являются одним из узких мест в вычислительной химии, биологии и физике. Наука эмпирическая по своей природе и, следовательно, является следствием многих внутренних переменных и взаимодействий.
Вот несколько примеров, где это наиболее очевидно: сети взаимодействия белков, нейронные сети, молекулы, диаграммы Фейнмана, космологические карты и т. Д. Наши нынешние методы вычислительного представления этих идей можно рассматривать как «с потерями», поскольку мы теряем много драгоценного. данные. Например, легко рассчитать, используя строку упрощенной молекулярной-входной-линейной-входной-системы (SMILE) для представления молекул, но за счет информации о структуре молекулы.
Мы можем сохранить структурные данные, которые могут быть использованы при прогнозировании или классификации, рассматривая атомы как узлы и связи как края. Таким образом, мы можем использовать молекулярный граф в качестве входных данных для его геометрического эквивалента вместо использования строки, представляющей молекулу в качестве входных данных для рекуррентной нейронной сети (RNN).
3D-моделирование и обучение
В качестве примера того, как геометрическое глубокое обучение позволяет нам учиться на никогда ранее не использовавшихся типах данных, рассмотрим индивидуальное позирование перед камерой: люди позируют для захвата 2D-изображения. Это двухмерная картина, хотя мы знаем, что она представляет собой трехмерного человека в нашем сознании. Наши нынешние алгоритмы, а именно сверточные нейронные сети (CNN), предсказывают метки, такие как индивидуальные позы и / или типы позы, которые дают только 2D-изображение. Когда позы становятся экстремальными, возникают трудности, и угол больше не фиксируется. Часто на изображении может быть одежда или предметы, которые мешают алгоритму использовать перспективу, что затрудняет прогнозирование позы.
Теперь представьте трехмерную модель того же человека, который делает позы: CNN теперь может работать на самом объекте, а не на его двухмерном изображении.
Очевидно, как показано на 2D-экране, это 3D-модель, но используйте свое воображение! (Предоставлено командой MoNet) Вместо того, чтобы учиться на двухмерном представлении, которое ограничивает информацию одним углом обзора, представьте, если бы мы могли выполнить преобразование прямо на самом элементе. Подобно традиционным CNN, каждый «пиксель», представленный как узел в облаке точек (в основном граф, оборачивающий трехмерный объект), будет проходить через ядро. Он будет покрывать каждый угол и щель на 3D-модели и учитывать данные. Вкратце, различие между обычными CNN и их геометрическим эквивалентом заключается в предсказании метки n объектов при наличии его изображения, а не в прогнозировании метки объекта при наличии трехмерной модели.
По мере того, как наши технологии 3D-моделирования, дизайна и печати улучшаются, можно представить, насколько более точные и точные результаты будут достигнуты.
Случай размерности
Концепция размерности уже широко используется в науке о данных и машинном обучении, где количество «измерений» коррелирует с количеством функций / атрибутов на пример / точку данных в наборе данных.
Сначала эффективность алгоритмов машинного обучения резко возрастает по сравнению с уровнем производительности после ряда характеристик (измерений). Это называется проклятием размерности. Глубокое геометрическое обучение не решает эту проблему. Вместо этого такие алгоритмы, как преобразование графиков, уменьшают потери производительности, возникающие при использовании типов данных, которые имеют много характеристик, поскольку реляционные данные рассматриваются по индуктивному смещению, а не как дополнительная функция.
Размерность в геометрическом глубоком обучении - это просто вопрос использования информации для обучения нейронной сети. Евклидова информация, в то время как неевклидова информация верна неевклидовой геометрии, подчиняется законам евклидовой геометрии. Неевклидову геометрию можно резюмировать с помощью предложения: «Кратчайший путь между двумя точками не обязательно является прямой линией».
К другим странным законам относятся:
- Углы внутреннего треугольника всегда составляют более 180 градусов
- Параллельные линии могут встречаться бесконечно или никогда
- Четырехугольные формы могут иметь изогнутые линии в качестве сторон.
Есть целая область неевклидовой геометрии, которая является другим предметом. Возьмите любую картинку, один из наиболее распространенных евклидовых типов данных, чтобы немного повысить интуицию.
Пиксель-арт можно представить себе как набор пикселей, размещенных с действиями влево, вправо, вверх и вниз. Пиксельное изображение имеет понятие влево, вправо, вверх и вниз. Рекурсивно переводя функцию по изображению, можно пересечь изображение. Именно этим и занимается CNN.
Графики не имеют кардинального ощущения направления; они более абстрактны.
Но на графике нет понятий «лево», «право», «вверх» или «вниз». Есть только один узел, связанный с несколькими произвольными узлами. Можно даже подключить узел к самому себе.
При использовании неевклидовой информации для обучения нейронных сетей все еще существуют измерения в традиционном понимании машинного и глубокого обучения. Например, существует множество полностью выполнимых характеристик узлов, каждая из которых представляет собой отдельный «аспект». Но в литературе это слово используется редко.
В заключение, геометрическое глубокое обучение - это ниша в глубоком обучении, направленная на обобщение моделей нейронных сетей на неевклидовы области, такие как графики и множители. Понятие, которое естественным образом встречается у людей и природы, - это понятие отношений, отношений и общих характеристик. Это то, что мы считаем само собой разумеющимся, чтобы понять и извлечь уроки из этих ссылок. Геометрическое глубокое обучение важно, потому что оно позволяет нам использовать информацию с внутренними отношениями, связями и общими характеристиками.
