Предварительный просмотр
[ESN (Echo State Network), метод прививки для уменьшения огромного объема вычислений, генерируемых при обучении пространственным признакам, что было большим ограничением в пространственной GNN, ESN, который показывает результаты, сомнительные с точки зрения скорость и производительность. Давайте поговорим о том, что такое принцип. ]
[Существует много видов графиков]. Обычно он делится по краю. Каждый раз используются различные подходы, такие как задача, моделирование и т. д. Ознакомьтесь с обзорным документом, в котором кратко изложены эти подходы.
[Ассортируемость высшего порядка] Ассортиментность, которая количественно определяет распределение узлов в сети независимо от того, является ли степень (коэффициент связи) похожей или нет. Считалось, что это исключительное свойство такого же графа. В этой статье предлагаются индикаторы, которые также можно применять к графикам более высокого порядка. ]
[IPU (Intelligence Processing Unit), ножной процессор, объясняющий машинное обучение. Насколько быстро было бы использовать его на GNN? Одна функция упаковки достаточно проста в использовании. [Вы можете использовать его как бесплатный план прямо сейчас, так почему бы вам не попробовать его прямо сейчас?]
Масштабируемые пространственно-временные графовые нейронные сети
[https://arxiv.org/pdf/2209.06520.pdf]
Введение
В отличие от статических графов, пространственные более сложны с точки зрения задач, поскольку требуют дополнительного управления и прогнозирования того, как объекты меняются с течением времени. Конечно, объем вычислений, объем генерируемой информации также больше, чем у минимального менеджера статических графов. В этой статье, чтобы эффективно управлять такими элементами, мы вводим концепцию сети эхо-состояний, предварительно вычисляем, а затем выполняем задачу.
Предварительные
[Это записано, чтобы помочь вам прочитать текст, поэтому вы можете пропустить его, если просто посмотрите краткое содержание]
Сеть состояний эха — это тип рекуррентной нейронной сети, в которой используется резервуар взаимосвязанных нейронов с фиксированными, случайно назначенными весами. Резервуар спроектирован таким образом, чтобы он обладал определенными желаемыми динамическими свойствами, такими как широкий диапазон возможных состояний и способность быстро и легко переходить к новому состоянию в ответ на входной сигнал.
Одним из ключевых преимуществ ESN является то, что процесс обучения является относительно простым и быстрым, **поскольку только слой считывания, который сопоставляет состояние резервуара с выходными данными, необходимо обучать с помощью обучения с учителем. Это отличается от традиционных рекуррентных нейронных сетей, которые требуют обучения всей сети, включая рекуррентные веса.**
Чтобы создать резервуар, мы случайным образом присваиваем ** фиксированные веса связям между нейронами. Эти веса обычно берутся из распределения Гаусса с нулевым средним значением и небольшой дисперсией.** Затем мы выбираем функцию активации для нейронов, такую как сигмовидная или гиперболическая тангенсная функция, и моделируем динамику резервуара с помощью рекуррентного уравнения: например следующее
Краткое содержание
Эхо-сеть состояния Эта статья была незнакомой концепцией, которую я увидел впервые. Это момент, когда я подумал, что мне еще многое предстоит изучить, почему я никогда не сталкивался с книгами по глубокому обучению. Проще говоря, мы устанавливаем нейроны в резервном слое, которые содержат временные состояния, и помещаем узлы в каждый из этих нейронов. Присваивает рандомизированный вес этому набору целых сетей. Затем через Readout извлекаются только значимые веса соответствующих сигналов.
Затем на мгновение вы можете задаться вопросом, что такое «значительный вес». Необычно то, что сеть состояний эха фиксирует инициализированный вес во время обучения и извлекает значение значимости из слоя считывания. Процесс выглядит следующим образом. Значение состояния (фиксированное случайное инициализированное значение), временное значение узла из резервуара, объединяется и сравнивается с целевым значением.
В конечном итоге это оставляет один и тот же носик (резервуар), а состояние (t) узлов постоянно меняется, отфильтровывая, какие узлы являются значимыми. Причина, по которой этот метод более эффективен в вычислительном отношении, чем другие серии RNN (LSTM, GPU), заключается в том, что функция закрытого обновления требует меньше ресурсов. Это намного быстрее с точки зрения скорости, потому что, если хорошо настроен только резервуар с простой функцией фильтрации шума, вышеупомянутая функция опускается.
Понимание
В отличие от ранее известной серии RNN, концепция извлечения полезных весов путем внедрения всего узла (сети) сразу, а не обновления узла, была очень интересной. Как сказал автор в конце статьи, это предполагает, что масштабируемость, которая была самым большим ограничением с точки зрения временных графов, может быть введена с разных точек зрения. Кажется, многое можно применить в таких областях, как система рекомендаций по выводу в реальном времени, где важна временная перспектива.
Я добавлю полезное дополнение для изучения концепций ESN с точки зрения многих частей, которые нужно привить.
Дополнение к ЕСН
1. сгенерировать большой случайный резервуар RNN (W^in, W, \alpha)
2. запустить его, используя обучающий ввод u(n) и собрать соответствующие состояния активации резервуара x(n);
3. вычислить веса линейных показаний W^out из резервуара, используя линейную регрессию, минимизируя MSE между y(n) и y^target(n);
4. Использовать обученную сеть на новых входных данных u(n) для вычисления y(n), применяя обученные выходные веса W^out.
Концепция резервуара[https://en.wikipedia.org/wiki/Reservoir_computing]
Практическое руководство по применению ESN[https://www.ai.rug.nl/minds/uploads/PracticalESN.pdf]
Графические нейронные сети, разработанные для различных типов графиков: опрос
[https://openreview.net/pdf?id=h4BYtZ79uy]
Это обзорный документ, который я действительно хочу порекомендовать тем, кто хочет изучать данные GNN и Graph. Со временем вокруг нас циркулируют высококачественные данные, чтобы думать, что это тенденция систематически писать о GNN и графических данных.
Среди высококачественных материалов, я думаю, это непревзойденный тезис. Без беспорядка 1. Начиная с обзора графических данных 2. Обзор GNN, 3. Сценарии, которые следует применять для каждой категории графа 4. Каждая модель GNN, которая соответствует данным графа, систематически организована. поместите это в Omakase на этой неделе после того, как увидели таблицу, которая обобщает только четыре основных элемента. Это то, о чем я думал.
Я воздержусь от использования этого выражения безоговорочно, но я думаю, что эта статья будет безоговорочно полезна тем, кто интересуется GNN, планом исследования графических данных или обзором графов.
Ассортативность более высокого порядка для направленных взвешенных сетей и цепей Маркова
[https://arxiv.org/pdf/2304.01737.pdf]
Введение
Эта концепция часто используется в управлении цепочками поставок. В этой статье обсуждается, как измерить ассортимент в торговой сети, которая считается графом более высокого порядка (гиперграфом).
Мы поднимаем вопрос об отсутствии метрики ассортимента в ситуации более высокого порядка и прямой, взвешенной сети и предлагаем новую ассортиментность, чтобы восполнить отсутствие. Ассортимент — это одна из метрик, которая измеряет характеристики графа, и в основном используется для определения того, связаны ли узлы с большим количеством соединений, а узлы без них — связаны.
Тогда вам может быть интересно, как согласованы более высокий порядок, направленное взвешивание и вспомогательные средства и где их можно использовать. Давайте поговорим об этом в торговой сети.
1. Более высокие порядки показывают, как отношения между странами изменились с течением времени
2. Направленные — это при выражении активных ручных отношений, таких как количество/запись между странами
3. Сколько взвешивается? При выражении количества импорта и экспорта в весе
4. Ассортиментность — это выражение того, имеют ли узлы с большим количеством отношений импорта-экспорта много отношений во времени.
Затем, вернемся к началу, часто использовались факторы более высокого порядка, направленные и взвешенные, но в сочетании с тремя упомянутыми факторами не было индикатора того, как измерить сортируемость, поэтому автор статьи предлагает индикатор для измерять ассортиментность.
Не только это, но мы также говорим о том, какие интерпретации могут быть сделаны в соответствии с показателями, полученными при введении в торговую сеть фактических четырех элементов.
Предварительные
[Это записано, чтобы помочь вам прочитать текст, поэтому вы можете пропустить его, пока видите краткое содержание]
Вы можете подумать, что он похож на гетерогенный граф, поскольку он выражает различные отношения между узлами. По сути, разделить разнородные и гиперграфы на разные графы. Зачем различать сходные функции и контексты в смысле выражения разных отношений? Различия заключаются в следующем.
Чтобы сосредоточиться на представлении многомерных отношений между узлами, граф более высокого порядка представляет данные графа в виде матрицы инцидентов, а также управляет многомерными отношениями и анализирует их, называя их гиперребрами.
С другой стороны, гетерогенные графы управляют и анализируют объекты и отношения в форме матрицы смежности, соответственно, чтобы выразить разнообразие узлов и ребер. Для получения дополнительной информации мы рекомендуем вам посетить [Википедию] по адресу https://en. wikipedia.org/wiki/Hypergraph).
Краткое содержание
Измеряйте возможности выбора интуитивно понятным и простым способом. Если вы начертите направленные свойства, разделив их на два входа и выхода, вы сможете рассмотреть четыре вещи: выход-внутрь, вход-выход, вход-внутрь, выход-выход. Мы определяем это количественно и предполагаем, что результат, полученный путем измерения корреляции Пирсона, является ассоциацией более высокого порядка.
Понимание
Концепция мониторинга доли импорта и экспорта с точки зрения фактического управления спросом и предложением является очень важным фактором, который контролирует будущие корпоративные стратегии, поэтому это очень интересная область для компаний.
Например, если вы решили получать и получать продукцию от конкретной компании (страны), но ввоз существующей продукции сорвался из-за непредвиденной ситуации, чувствителен к приостановке производственной линии в краткосрочной перспективе и сокращению корпоративных авторитет в долгосрочной перспективе.
Если это выразить на графике, то оно выражается как простое отношение «экспорта» и «импорта» и широко используется с точки зрения интуитивности и пригодности для создания эффективного плана спроса и предложения. Глядя на эту статью, я думаю, что было бы неплохо взглянуть на нее, исходя из любопытства, как подойти к вышеупомянутой истории.
Начало работы с PyTorch Geometric (PyG) на процессорах Graphcore IPU
Введение
Поскольку модели большой емкости, такие как модель большого языка, становятся популярными, я часто задаюсь вопросом, как я могу применить их к моей модели на основе предварительно обученного веса модели. Мы изучили множество различных типов больших данных, поэтому, конечно, мы думаем, что они будут работать хорошо. Однако часто бывают ситуации, когда даже вес крупнотоннажной модели ограничен из-за нехватки ресурсов. В этой ситуации у вас есть два основных варианта.
1. Оптимизация обработки данных. 2. Добавление ресурсов. 1. Низкая стоимость, но высокие входные барьеры. Помимо оптимизации модели, необходимо изучить множество факторов, начиная с фундаментального понимания данных, что немного обременительно. С другой стороны, номер 2 характеризуется высокой стоимостью и низкими входными барьерами.
Затем, если вы ищете платформу, которая может использовать ресурсы (TPU, GPU), типичными являются такие пространства, как TFRC, Kaggle и Colab. Даже это создает проблемы, такие как частые сеансы или слишком мало памяти. Итак, есть ли здесь какой-либо другой вариант? Есть еще один элемент, который следует учитывать. Это МПС.
Предварительные
1. ЦП (центральный процессор): это основной процессор в компьютерной системе, который выполняет инструкции компьютерной программы. Он выполняет вычислительные задачи общего назначения, такие как арифметические и логические операции, перемещение данных и поток управления.
2. GPU (графический процессор): это специализированный процессор, предназначенный для обработки сложных математических и графических вычислений, необходимых для рендеринг изображений и видео. Графические процессоры часто используются в высокопроизводительных вычислительных приложениях, таких как игры, научное моделирование и машинное обучение.
3. TPU (Tensor Processing Unit): это специализированная специализированная интегральная схема (ASIC), разработанная Google специально для задач машинного обучения. TPU оптимизированы для обработки тензорных операций и обычно используются для обучения и вывода в моделях глубокого обучения.
4. IPU (Intelligence Processing Unit): это специализированный процессор, предназначенный для задач искусственного интеллекта и машинного обучения. IPU оптимизированы для выполнения крупномасштабных параллельных вычислений в нейронных сетях и обычно используются для обучения и логического вывода в моделях глубокого обучения.
Краткое содержание
Это очень похоже на использование графического процессора. Точно так же структура слоя берется из torch_geometry и используется. Однако заметная разница в том, что перед тренировкой вы обматываете его библиотекой poptorch. В остальном заметной разницы нет. Использовать высокопроизводительный ресурс под названием IPU очень просто.
Кроме того, модель GPS++, которая занимает важное место в молекулярной GNN, также была изучена с использованием IPU. Говорят, что вы можете использовать тот же код на [https://www.graphcore.ai/ipu-jupyter-notebooks] (https://www.graphcore.ai/ipu-jupyter-notebooks)). Этим контентом делятся с надеждой, что он поможет тем, кто учится с ограниченными ресурсами. Я надеюсь, что это поможет вам много.
