В новой статье Обучение в высоком измерении всегда требует экстраполяции, команда из Facebook AI Research и Нью-Йоркского университета, в которую входит Ян Лекун, теоретически и эмпирически оспаривает общепринятую точку зрения сообщества машинного обучения (ML) относительно интерполяции: демонстрируя, что этого почти никогда не происходит с многомерными (›100) наборами данных.

Интерполяция и экстраполяция являются основополагающими концепциями, которые функционируют как методы оценки в численном анализе. Интерполяция используется для поиска новых точек данных на основе диапазона заданного набора известных точек данных; в то время как экстраполяция включает выход за пределы исходного диапазона и оценку значения переменной на основе ее взаимосвязи с другими переменными. Эти термины были перенесены как есть в ML, где определения были формализованы следующим образом: Интерполяция выполняется для выборки x всякий раз, когда эта выборка принадлежит выпуклой оболочке набора выборок X, {x1,. . . , xN}, в противном случае происходит экстраполяция.

Исследователи машинного обучения разработали различные интуиции и теории, основанные на предположении, что высокая производительность современных алгоритмов глубокого обучения во многом обусловлена ​​их способностью правильно интерполировать данные обучения и что интерполяция происходит между задачами и наборами данных. Все большее количество статей по глубокому обучению предлагает результаты, основанные на интерполяции данных, что отражает пословицу «по мере того, как алгоритм переходит от интерполяции к экстраполяции, его производительность снижается».

Исследователи Facebook и Нью-Йоркского университета отвергают эти идеи и утверждают, что результаты интерполяции / экстраполяции и обобщения не соответствуют ранее предполагавшимся исследователям интимных отношений. Они приходят к выводу, что интерполяция почти наверняка никогда не происходит в многомерных пространствах (›100) независимо от основных внутренних измерений многообразия данных, а именно:

  1. Используемые в настоящее время / развернутые модели экстраполируются.
  2. Учитывая сверхчеловеческие характеристики, достигаемые этими моделями, необязательно избегать режима экстраполяции, и он не является показателем эффективности обобщения.

Команда предлагает различные эксперименты, подтверждающие необходимость экспоненциально больших наборов данных для поддержки интерполяции негауссовских данных. Основываясь на результатах, они приходят к выводу, что для увеличения вероятности того, что выборка находится в режиме интерполяции, необходимо контролировать размерность наименьшего аффинного подпространства, которое включает в себя все многообразие данных, т.е. выпуклую оболочку данных, а не многообразие, лежащее в основе измерения, ни измерение окружающего пространства.

Затем они распространяют это понимание на реальные наборы данных и резюмируют свои наблюдения как:

  1. Несмотря на геометрию множества данных, поддерживаемую естественными изображениями, поиск выборок в режиме интерполяции становится экспоненциально сложным по отношению к рассматриваемому измерению данных.
  2. Пространства вложения обеспечивают, казалось бы, организованные представления (с линейной отделимостью классов), однако интерполяция остается труднодостижимой целью даже для пространств вложения всего с 30 измерениями.
  3. Методы уменьшения размерности теряют информацию об интерполяции / экстраполяции и приводят к визуальным ошибочным представлениям, значительно искаженным в сторону интерполяции.
  4. Встраивание JLL с низким уровнем искажений можно использовать только для уменьшения размерности наборов данных, в которых образцы почти наверняка находятся в режиме экстраполяции по сравнению со всеми другими.

В целом, исследователи предоставляют убедительные доказательства, оспаривающие использование интерполяции и экстраполяции в качестве индикаторов эффективности обобщения; и уверенно заявляют, что поведение модели в выпуклой оболочке обучающего набора практически не влияет на производительность обобщения этой модели, поскольку новые образцы почти наверняка лежат за пределами этой выпуклой оболочки.

Статья Обучение в высоком измерении всегда требует экстраполяции на arXiv.

Автор: Геката Хе | Редактор: Майкл Саразен

Мы знаем, что вы не хотите пропустить какие-либо новости или научные открытия. Подпишитесь на нашу популярную рассылку Synced Global AI Weekly, чтобы получать еженедельные обновления AI.