- Спуск по дереву Монте-Карло для оптимизации черного ящика(arXiv)
Автор:Яогуан Чжай, Сыцунь Гао
Аннотация. Ключом к оптимизации «черного ящика» является эффективный поиск во входных областях с потенциально широко варьирующимися числовыми свойствами, чтобы добиться снижения с минимальными потерями и быстрого продвижения к оптимуму. Недавно были введены методы поиска по дереву Монте-Карло (MCTS) для улучшения байесовской оптимизации за счет лучшего разделения пространства поиска, которое уравновешивает исследование и эксплуатацию. Расширяя эту многообещающую структуру, мы изучаем, как дополнительно интегрировать спуск на основе выборок для более быстрой оптимизации. Мы разрабатываем новые способы расширения деревьев поиска Монте-Карло с новыми методами спуска в вершинах, которые включают стохастический поиск и гауссовы процессы. Мы предлагаем соответствующие правила для балансировки прогресса и неопределенности, выбора ветвей, расширения дерева и обратного распространения. Разработанный процесс поиска уделяет больше внимания выборке для более быстрого спуска и использует локализованные гауссовские процессы в качестве вспомогательных показателей как для эксплуатации, так и для исследования. Мы эмпирически показываем, что предлагаемые алгоритмы могут превзойти современные методы на многих сложных задачах тестирования.
2. Оптимизация черного ящика для задач с целочисленными переменными с использованием машин Изинга и машин факторизации(arXiv)
Автор:Юя Сэки, Рё Тамура, Шу Танака
Аннотация: Оптимизация черного ящика имеет потенциал во многих приложениях, таких как оптимизация гиперпараметров в машинном обучении и оптимизация при планировании экспериментов. Машины Изинга полезны для задач бинарной оптимизации, потому что переменные могут быть представлены одной двоичной переменной машин Изинга. Однако традиционные подходы с использованием машины Изинга не могут справиться с задачами оптимизации черного ящика с недвоичными значениями. Чтобы преодолеть это ограничение, мы предлагаем подход к задачам оптимизации черного ящика с целыми переменными, используя машины Изинга/отжига и машины факторизации в сочетании с тремя различными методами целочисленного кодирования. Производительность нашего подхода численно оценивается с помощью различных методов кодирования с использованием простой задачи расчета энергии молекулы водорода в наиболее стабильном состоянии. Предлагаемый подход позволяет вычислять энергию с использованием любого из методов целочисленного кодирования. Тем не менее, горячее кодирование полезно для задач с небольшим размером
3. Генеративное предварительное обучение для оптимизации черного ящика(arXiv)
Автор: Сиддарт Кришнамурти, Сатвик Мехул Машкария, Адитья Гровер
Аннотация. Многие проблемы в науке и технике связаны с оптимизацией дорогостоящей функции черного ящика в многомерном пространстве. Для таких проблем оптимизации черного ящика (BBO) мы обычно предполагаем небольшой бюджет для онлайн-оценки функций, но также часто имеем доступ к фиксированному автономному набору данных для предварительного обучения. Предыдущие подходы стремятся использовать автономные данные для аппроксимации функции или ее обратной функции, но они недостаточно точны вдали от распределения данных. Мы предлагаем Black-box Optimization Transformer (BOOMER), генеративную среду для предварительной подготовки оптимизаторов черного ящика с использованием автономных наборов данных. В BOOMER мы обучаем авторегрессионную модель для имитации траекторных прогонов неявных оптимизаторов функций черного ящика. Поскольку эти траектории недоступны по умолчанию, мы разрабатываем простую рандомизированную эвристику для синтеза траекторий путем сортировки случайных точек из автономных данных. Теоретически мы показываем, что эта эвристика индуцирует траектории, имитирующие переходы от различных образцов с низкой точностью (разведка) к образцам с высокой точностью (эксплуатация). Кроме того, мы вводим механизмы для управления скоростью, с которой траектория переходит от разведки к эксплуатации, и используем ее для обобщения вне автономных данных во время тестирования. Опытным путем мы создаем экземпляр BOOMER, используя небрежно замаскированный Transformer, и оцениваем его в Design-Bench, где мы оцениваем его в среднем лучше, превосходя современные базовые показатели.
