Вот некоторые из документов и статей, которые я нашел особенно интересными, которые я прочитал на 40-й неделе 2020 года (~ 27 сентября). Я постарался представить как можно больше самых последних, но дата подачи статьи может не совпадать с неделей.
- Документы по машинному обучению
- Технические статьи
- Примеры использования машинного обучения
- Другие темы
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
1. Документы по машинному обучению
— —
Альтернативный метод обновления параметров для обратного распространения
Прямая обратная связь соответствует современным задачам и архитектурам глубокого обучения
https://arxiv.org/abs/2006.12878
Исследование Direct Feedback Alignment, которое позволяет нам распараллелить обновления параметров в различных задачах, таких как модель Transformer, Graph Conv и рекомендации, и они подтверждают, что результаты неплохие.
Определите и улучшите факторы точности DARTS
Поиск в архитектуре дифференциальной сети с регуляризацией пути, основанной на теории
https://arxiv.org/abs/2006.16537
DARTS, один из методов поиска нейронной архитектуры, часто снижает точность, поскольку выбирает часто пропускаемые соединения, но теоретически они доказали, что это связано с тем, что скорость сходимости выше, чем у других операций, таких как Conv. Кроме того, они предложили PR-DARTS, которые предотвращают это, и подтвердили, что точность PR-DARTS была улучшена.
Учебная программа для устранения дисбаланса и сложности данных
EGDCL: адаптивная учебная программа для объективной диагностики глаукомы
https://www.ecva.net/papers/eccv_2020/papers_ECCV/html/3685_ECCV_2020_paper.php
Данные о глаукоме были сложной задачей из-за наличия жестких выборок и несбалансированности данных. Они предложили EGDCL для обучения по учебной программе, чтобы изучать его через сеть, которая генерирует сложность образцов, редкость меток и важность карты характеристик. Результаты, выходящие за рамки предыдущих исследований.
Повышение точности физического моделирования за счет включения в модель физических ограничений.
Уравнения Кона-Шама как регуляризатор: встраивание предварительных знаний в физику с машинным обучением
https://arxiv.org/abs/2009.08551
В проблеме аппроксимации физического моделирования с использованием теории функционала плотности с нейронными сетями физические ограничения могут быть наложены на модели ML, рассматривая уравнение Кона-Шэма как дифференцируемую модель. Это значительно повышает точность расчета терминов обменной корреляции.
Классификация изображений по форме, а не по текстуре
Происхождение и распространенность смещения текстуры в сверточных нейронных сетях
https://arxiv.org/abs/1911.09071
Хотя было известно, что модели CNN, обученные ImageNet, больше зависят от текстуры, чем от формы, они показали, что использование методов увеличения данных, таких как искажение цвета, размытие, может заставить модель классифицировать объекты на основе формы.
Контрмеры для задач с разными распределениями в наборе данных Train/Test
Подход состязательной проверки к проблеме дрейфа концепций в системах автоматизации таргетинга пользователей в Uber
https://arxiv.org/abs/2004.03045
Для задач с различным распределением данных обучения и тестирования они ответили выбором состязательных функций, чтобы сопоставить распределения, обучив классификатор различать обучение и тест и удаляя важные функции классификатора до тех пор, пока оценки не станут случайными. Это лучше, чем использовать валидацию с данными, близкими к тесту, или взвешивание по тестовому распределению.
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
2. Технические статьи
— —
GAN навсегда
Панельная дискуссия о GAN, организованная deeplearning.ai, основанная доктором Эндрю Нг, с участием доктора Яна Гудфеллоу и других ярких участников. Например, он посвящен варианту использования GAN, включая добавление отражений окружения к 3D-объектам, использование GAN для проектирования искусственных зубов, как идти в ногу с последними исследованиями и т. д.
Лично я был очень интересует вывод о том, что прямое увеличение данных с помощью GAN не работает, но оно увеличивает данные путем преобразования простых поддельных данных, чтобы они выглядели как настоящие (например, «https://arxiv.org/abs/1612.07828)».
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
3.Примеры использования машинного обучения
— —
ИИ побеждает пилотов-асов
В симуляции воздушного боя (воздушный бой, в котором истребители маневрируют, чтобы поймать своих противников в зоне обстрела пулеметов/ракет класса «воздух-воздух» друг друга) соревнования, спонсируемого Агентством перспективных исследовательских проектов Министерства обороны США (DARPA), ИИ использует глубокое обучение с подкреплением, чтобы сделать пилотов-асов побежденными. Пока они, кажется, не рассматривают возможность эксплуатации истребителя без пилотов, но если он станет полностью автоматизированным, возникнут этические проблемы и вопрос о том, как ИИ может получить возможность заставить его аккуратно следовать правилам войны.
— — — — — — — — — — — — — — — — — — — — — — — — — — — — — —
4. Другие темы
— —
GPT-3 может оказать негативное влияние на «демократизацию ИИ».
В статье описываются опасения, что GPT-3 может негативно повлиять на «демократизацию ИИ»: модель настолько велика, что другим учреждениям, вероятно, сложно воспроизвести GPT-3, а OpenAI является почти монополистом. Обсуждаются такие вопросы, как бороться со злоумышленниками, как провести грань между ограничениями на использование и в зависимости от ценообразования только некоторые люди смогут получить доступ к сайту.
Демократизация искусственного интеллекта в эпоху GPT-3
22 сентября Microsoft объявила, что «Microsoft объединяется с OpenAI для эксклюзивного лицензирования GPT-3. В…thegradient.pub»
Лекция по специализации GAN
Курс специализации GAN от deeplearning.ai, основанный профессором Эндрю Нг, теперь доступен на Coursera. В лекциях обсуждается, как оценивать GAN, StyleGAN и т. д. Это очень информативно для людей, которые используют GAN, независимо от того, являются ли они исследователями/инженерами или нет.
— — — — — — — — — — — — — — — — — — — — — — — — — — -
