- DG-LMC: Готовый и масштабируемый синхронно-распределенный алгоритм MCMC с помощью Langevin Monte Carlo в Gibbs (arXiv)
Автор: Венсан Плассье, Максим Воно, Ален Дурмюс, Эрик Мулин.
Аннотация: Выполнение надежного байесовского вывода в масштабе больших данных становится краеугольным камнем современной эпохи машинного обучения. Классом рабочих лошадок для решения этой задачи являются алгоритмы цепи Маркова Монте-Карло (MCMC), и их разработка для обработки распределенных наборов данных была предметом многих работ. Однако существующие методы не являются полностью ни надежными, ни вычислительно эффективными. В этой статье мы предлагаем восполнить этот пробел в случае, когда набор данных разделен и хранится на вычислительных узлах в кластере с архитектурой ведущий/подчиненный. Мы получаем удобный для пользователя централизованный распределенный алгоритм MCMC с доказуемым масштабированием в многомерных настройках. Мы иллюстрируем актуальность предлагаемой методологии как на синтетических, так и на реальных экспериментах с данными.
2. Эффективная байесовская регрессия с уменьшенным рангом с использованием подхода Ланжевена Монте-Карло (arXiv)
Автор : Тьен Май
Аннотация: В статье рассматривается задача байесовской регрессии с приведенным рангом. Мы предлагаем впервые использовать в этой задаче метод Ланжевена Монте-Карло. Спектрально масштабированное априорное распределение Стьюдента используется для использования лежащей в основе низкоранговой структуры матрицы коэффициентов. Мы показываем, что наши алгоритмы значительно быстрее, чем сэмплер Гиббса, в условиях высокой размерности. Результаты моделирования показывают, что предложенные нами алгоритмы байесовской регрессии с уменьшенным рангом сравнимы с современным методом, в котором ранг выбирается перекрестной проверкой.
