TransferLab постоянно следит за достижениями в области искусственного интеллекта. Мы создаем краткие сводки статей, библиотек, выступлений и других событий, которые, по нашему мнению, могут быть интересны нашему сообществу, и публикуем их в виде так называемых бумажных таблеток. То, что мы обнаружили в октябре, кратко изложено в этом блоге.
Калибровка
Локальная калибровка: метрика и рекалибровка
Метод калибровки, который учитывает сходство образцов, автоматически обеспечивая групповую калибровку, даже если группы неизвестны.
Большие языковые модели
Внешние знания могут быть введены в предварительно обученные языковые модели (в данном случае конкретно в BERT) путем обучения дополнительной языковой модели различным задачам, связанным со словарем. Эта стратегия может привести к лучшему представлению и должна быть особенно полезна для предложений, которые используют много жаргона.
Обучение, ориентированное на принятие решений
Моделирование на основе оптимизации
Слои оптимизации позволяют включать последующие задачи оптимизации в обучение нейронной сети. Рассматривается разрыв в производительности между подходом «сначала изучай, затем оптимизируй» и сквозным подходом в условиях идеальной модели. Авторы считают, что разрыв может быть сколь угодно большим для нелинейных функций стоимости. Кроме того, авторы выделяют несколько классов практически важных задач оптимизации, где комплексный подход дает оптимальные решения в условиях идеальной модели.
Редактирование изображений
Оперативное редактирование изображений с контролем перекрестного внимания
Генерация изображений из текста усложняется тем, что небольшие изменения в подсказке дают очень разные результаты. Это новое исследование показывает, как вносить минимальные изменения в сгенерированные изображения с помощью манипуляций с картами внимания нейронной сети.
Первоначально опубликовано на https://transferlab.appliedai.de 7 ноября 2022 г.
