Модели авторегрессионного языка видения, такие как Flamingo, Kosmos-1 и мультимодальная GPT-4, демонстрируют большой потенциал для выполнения различных задач языка видения, а также обладают сильной способностью к обобщению. Однако эти мощные модели имеют закрытый исходный код, что ограничивает исследования ученых в области авторегрессионных моделей языка видения. В новой статье OpenFlamingo: платформа с открытым исходным кодом для обучения больших авторегрессивных моделей зрительного..

Глубокие генеративные модели, которые применяют функцию правдоподобия к распределению данных, добились впечатляющих успехов в моделировании различных источников данных, таких как изображения, текст и видео. Популярным таким типом моделей являются авторегрессионные модели (ARM), которые, хотя и эффективны, требуют заранее заданного порядка для их генерации данных. Следовательно, ARM могут быть не лучшим выбором для задач генерации, которые включают определенные типы данных, такие как..