Вскоре после того, как несколько месяцев назад Microsoft выпустила продукт AutoML, мы опубликовали сравнение точности Auger.AI и Azure на выбранных Microsoft наборах данных. Конкретно в своей статье, лежащей в основе подхода AutoML, Microsoft выбрала 89 наборов данных OpenML. Затем, как и в случае с Azure, мы сравнили эту точность с H20 и TPOT. Результаты показали, что Auger на 4,5% лучше, чем у Azure, каждый из которых проводил эксперименты (оценивая множество комбинаций алгоритма / гиперпараметров) в течение одного часа на идентичном оборудовании. H20 и TPOT на самом деле также немного превзошли Azure: Auger был на 3,5% лучше по точности H20 и на 4,0% лучше по результатам TPOT. Интересно, что Auger даже превзошел модели, созданные вручную победителями конкурса OpenML, на 4,4%. Поскольку средняя точность составляет 80%, увеличение точности примерно на 4% фактически снижает ошибки на 20%. Поскольку специалисты по машинному обучению обычно изо всех сил пытаются получить на таких соревнованиях доли процента лучше (посмотрите, насколько близки по точности все другие решения AutoML, кроме Auger), такое повышение точности действительно поразительно. Мы описываем методы, которые позволяют добиться такой лучшей производительности здесь.
Недавно Google наконец-то выпустила свой собственный настоящий AutoML-продукт под названием Google AutoML Tables (прошлогодний выпуск AutoML на самом деле был поиском по нейронной архитектуре). Мы действительно пытались запустить Google AutoML Tables против Microsoft 89. К сожалению, из-за множества ограничений Google AutoML Tables мы смогли запустить его только для части этих наборов данных. Судя по результатам этих наборов данных, Google, несомненно, отстает от всех продуктов AutoML: Auger превзошел Google на 6,8%.
Но в конце концов это были тщательно отобранные наборы данных Microsoft (хотя производительность Microsoft была на втором месте). Должны ли мы позволить Google выбирать собственные наборы данных для сравнения? Нам пришлось немного подождать, пока Google сделает это, но, наконец, 9 мая Google опубликовал некоторые результаты для AutoML Tables по сравнению с несколькими соревнованиями Kaggle (всего шесть выбранных соревнований Kaggle, по-видимому, означают, что он даже более отфильтрован, чем подмножество Azure, чтобы выделить Точность Google). Auger снова опережает Google в среднем на 3%.
Мы рады видеть еще больше участников в сфере AutoML. Эти два продукта могут иметь некоторую привлекательность для преданных клиентов Google Cloud и Azure. Тем не менее цель AutoML (по сравнению с обычным использованием машинного обучения) - повысить точность. Таким образом, такой продукт, как Auger.AI, который дает на 3-5 процентов большую точность (и, следовательно, в целом снижает количество ошибок на 15-50 процентов), должен быть привлекательным для большинства практиков машинного обучения.
