37-е издание ICML (Международной конференции по машинному обучению) объявлено в сети. Я впервые приезжаю на это мероприятие и выбрал несколько работ, которые привлекли мое внимание.
Оценка эффективности алгоритмов обучения с подкреплением.
Целью данного исследования является преодоление ограничений типичной процедуры оценки, основанной на:
-Настройке гиперпараметров каждого алгоритма; < br /> -Провести несколько проб с использованием параметров;
-Сообщить о производительности… .и упустить сложность применения алгоритмов.
Предлагаемый подход представляет собой конвейер оценки, основанный на:
-Метриках производительности выборки который отражает знание того, как использовать алгоритмы:
- Нормализация оценок для учета внутренних трудностей каждой среды;
- Балансировка важности каждой среды в совокупности;
- Неопределенность вычислений на протяжении всего процесса;
https://lnkd.in/dX5rCeP
AutoGAN-Distiller: поиск для сжатия генерирующих состязательных сетей.
Это исследование связано с растущим спросом на развертывание сетей GAN на мобильных устройствах для таких приложений, как перевод, улучшение и редактирование изображений. Проблема при развертывании заключается в том, что генераторы GAN требуют для работы большой объем памяти и вычислительных ресурсов, что затруднительно для большинства мобильных устройств.
AutoGAN-Distiller (AGD) - первая среда AutoML, предназначенная для сжатия GAN, способная выполнять дифференциальный поиск нейронной архитектуры ( NAS) с помощью предварительно обученного Генератора и ограничения вычислительных ресурсов.
https://lnkd.in/dXkAVGU
https://lnkd.in/dxBvsZN
NGBoost: повышение естественного градиента для вероятностного прогнозирования. Это модифицированная GBM для универсального вероятностного прогнозирования с целью оценить условное распределение вероятностей для каждого значения характеристик вместо получения одноточечной оценки. < br /> Состав: многопараметрическое усиление, настройка функций распределения результатов наблюдаемых характеристик, по одному на параметр с естественным обновлением градиента, градиентный спуск, применяемый в пространстве распределений вместо пространства параметров.
https: // lnkd .in / dP4h63C
https://lnkd.in/dgfE4Pe
«PEGASUS: предварительное обучение с предложениями с извлеченными пробелами для абстрактного обобщения». Это предварительная тренировочная цель с самоконтролем (называемая генерацией пробелов) для кодировщика Transformer. модели декодера для повышения производительности точной настройки при абстрактном резюмировании. Соответствующие предложения удаляются / маскируются из текста и генерируются вместе как одна выходная последовательность из оставшихся предложений, подобно резюме.
Https://arxiv.org/abs/1912.08777
Https://github.com/google-research/pegasus
«ControlVAE: управляемый вариационный автоэнкодер». Он сочетает в себе контроллер, созданный на основе теории автоматического управления, с базовым VAE для повышения производительности получаемых генеративных моделей. В частности, имеется новый нелинейный ПИ-регулятор, вариант управления пропорционально-интегрально-производной (ПИД), для автоматической настройки гиперпараметра (веса), добавленного в цель VAE, с использованием выходной KL-дивергенции в качестве обратной связи во время обучения модели. . ControlVAE не только предотвращает исчезновение KL, но и контролирует разнообразие сгенерированного текста.
Https://arxiv.org/abs/2004.05988
