- MultiZoo и MultiBench: стандартизированный набор инструментов для мультимодального глубокого обучения (arXiv)
Автор: Поль Пу Лян, Ивэй Лю, Сян Фан, Арав Агарвал, Юнь Ченг, Луи-Филипп Моранси, Руслан Салахутдинов.
Аннотация: Изучение мультимодальных представлений включает в себя интеграцию информации из нескольких разнородных источников данных. Чтобы ускорить продвижение к недостаточно изученным модальностям и задачам, обеспечив при этом надежность в реальных условиях, мы выпускаем MultiZoo, общедоступный набор инструментов, состоящий из стандартизированных реализаций › 20 основных мультимодальных алгоритмов и MultiBench, крупномасштабного эталонного теста, охватывающего 15 наборов данных, 10 модальностей, 20 задачи прогнозирования и 6 направлений исследований. Вместе они обеспечивают автоматизированный сквозной конвейер машинного обучения, который упрощает и стандартизирует загрузку данных, экспериментальную настройку и оценку модели. Чтобы обеспечить целостную оценку, мы предлагаем комплексную методологию для оценки (1) обобщения, (2) временной и пространственной сложности и (3) надежности модальности. MultiBench прокладывает путь к лучшему пониманию возможностей и ограничений мультимодальных моделей, обеспечивая при этом простоту использования, доступность и воспроизводимость. Наши наборы инструментов находятся в открытом доступе, будут регулярно обновляться и приветствуются комментарии сообщества.
2. Комплексный и универсальный мультимодальный подход к глубокому обучению для прогнозирования разнообразных свойств передовых материалов (arXiv)
Автор: Шун Мурога, Ясуаки Мики, Кендзи Хата.
Аннотация: Мы представляем мультимодальную структуру глубокого обучения (MDL) для прогнозирования физических свойств 10-мерного акрилового полимерного композитного материала путем объединения физических свойств и химических данных. Наша модель MDL состоит из четырех модулей, в том числе трех генеративных моделей глубокого обучения для характеристики структуры материала и четвертой модели для прогнозирования свойств. Наш подход обрабатывает 18-мерную сложность с 10 композиционными входными данными и 8 выходными свойствами, успешно прогнозируя 913 680 точек данных свойств в 114 210 условиях композиции. Этот уровень сложности беспрецедентен в вычислительном материаловедении, особенно для материалов с неопределенной структурой. Мы предлагаем структуру для анализа многомерного информационного пространства для обратного проектирования материалов, демонстрирующую гибкость и адаптируемость к различным материалам и масштабам при наличии достаточного количества данных. Это исследование продвигает будущие исследования различных материалов и разработку более сложных моделей, приближая нас к конечной цели прогнозирования всех свойств всех материалов.
