Еще один обзор из моей серии обзоров машинного обучения, ориентированного на человека, автором которого является Simard et al. «Машинное обучение: новая парадигма построения систем машинного обучения» от Microsoft Research — это документ с изложением позиции и манифест машинного обучения.

Симард и др. предложить машинное обучение как новую дисциплину, которая во многом связана с машинным обучением, но принципиально отличается от нее:

  • Машинное обучение (ML)исследование — «направлено на совершенствование учащегося лучше за счет улучшения алгоритмов ML».
  • Машинное обучение (MT) исследование — «направлено на повышение продуктивности учителя при построении моделей машинного обучения».

Эти операционные определения выделяют различие, подчеркивая ориентированный на человека характер МП и смещая акцент с оптимизации производительности машинного обучения на оптимизацию производительности машинного обучения. MT мотивирован недостатками традиционного жизненного цикла модели ML, которую Simard et al. описать как включая:

  • длительные итерации для построения модели (обычно недели, включая сбор данных, маркировку, обучение, оценку, оптимизацию и т. д.)
  • разумная, но временная стабильность (обычно месяцы, пока она не сломается по многим причинам, например, ковариантные сдвиги, изменения в пространстве признаков, шум меток, эволюция концепции, ошибки и обновления программного обеспечения и т. д.)
  • проблемы с повторным повторением процесса (документация, отсутствие доступного опыта, перемещение персонала, отсутствие модульности, высокие затраты на обслуживание и т. д.)

Симард и др. предложить МП в качестве целостного подхода к снижению человеческих затрат (т. е. необходимых знаний и времени на обслуживание) в процессе обучения машинного обучения. В соответствии с парадигмой машинного обучения учитель огражден от сложностей алгоритмической среды выполнения и процедур оптимизации с помощью решения, использующего четко определенные и стандартизированные интерфейсы и алгоритмы машинного обучения, поддерживающие эти интерфейсы. Эти интерфейсы должны: 1) описывать входные данные (значения признаков) и выходные данные (метки, прогнозы) алгоритмов обучения, 2) позволять «различать примеры осмысленным образом», 3) разрешать добавление и удаление признаков для улучшения слепоты признаков и аппроксимации ошибка, и 4) включить добавление помеченных примеров, чтобы улучшить ошибку оценки.

Симард и др. черпал вдохновение во многих аспектах разработки программного обеспечения (SE), чтобы продумать и разработать подход машинного обучения. Например, при решении сложных задач модуляризация и декомпозиция являются важными принципами, используемыми в SE. Кроме того, поддержка совместной работы за счет внедрения стандартизированных инструментов (например, языков программирования, API, документации, шаблонов проектирования, компонентизации, контроля версий и т. д.) позволяет масштабировать до нескольких вкладов для решение сложной задачи. Симард и др. экстраполировать на эти принципы — и историческую эволюцию программирования, которая была сосредоточена на производительности вычислений, расширена на предметные приложения, а также на последующие взрывы, вызванные персональными вычислениями, языками программирования высокого уровня и веб-программированием, — чтобы поднять ожидания от МП до уровня уровень СЭ.

Роль машинных учителей

Симард и др. предложить, чтобы «роль учителя заключалась в передаче знаний обучающейся машине, чтобы она могла генерировать полезную модель. strong>, который может аппроксимировать концепцию». Они предоставляют следующий набор операционных определений для понимания того, что они означают:

  • «Концепция — это сопоставление любого примера со значением ярлыка.»
  • «Функция — это концепция, которая присваивает каждому примеру скалярное значение».
  • «Учитель — это человек, который передает концептуальные знания обучающей машине».
  • «Отбор – это процесс, посредством которого учителя получают доступ к примеру, иллюстрирующему полезные аспекты концепции».
  • «Ярлык — это пара (пример, значение понятия), созданная учителем в отношении понятия.»
  • «Схема – это граф взаимосвязей между понятиями”.
  • «Общая функция — это набор связанных функций функции».
  • «Разложение – это использование более простых понятий для выражения более сложных.”

Симард и др. также синтезировал набор принципов для MT:

  • Универсальный язык обучения - для поддержки и возможности разных учителей Simard et al. предложить стандартизацию языка как одного простого и легкого в освоении интерфейса, который не зависит от алгоритмов машинного обучения, но обеспечивает доступ к их возможностям, позволяя обмениваться ими в соответствии с наиболее подходящей концепцией для изучения.
  • Полнота функций — все желаемые целевые концепции должны быть «реализуемы» посредством набора моделей и функций». Предполагается, что система несет ответственность за обеспечение полноты функций, чтобы учитель мог сосредоточиться на изучении, добавлении и различении функций и примеров, чтобы увеличить способность системы моделировать концепцию.
  • Богатый и разнообразный выборочный набор — набор данных должен позволять учителю исследовать его, «чтобы выразить знания посредством отбора». Симард и др. предложить необходимость новых способов сбора данных, которые сохраняют как можно больше семантической ценности данных. Они подразумевают, что хранение данных без разбора может быть решением («усилия по хранению данных ничтожны по сравнению со стоимостью обучения»).
  • Надежность распределения - учитель должен иметь возможность свободно исследовать и маркировать без каких-либо проблем. Критическое предположение сделали Simard et al. заключается в том, что учитель сможет достичь правильного результата обучения (т. Е. Надежной модели, которая является правильной для любого примера), учитывая богатый и разнообразный набор выборок, полноту функций и алгоритмы ML, которые устойчивы к ковариативному сдвигу. Ковариантные сдвиги относятся к изменениям в распределении новых примеров, из-за которых развернутая модель или работающая в дикой природе теряют эффективность. Это одна из причин поломки моделей, которая требует новой итерации построения модели. Я бы сказал, что это очень сложное сочетание факторов, и оно должно действовать как ограничение применения процесса МП.
  • Модульная разработка — МП должен поддерживать декомпозицию в концептуальном моделировании посредством модульной разработки (т. е. декомпозицию концепций на подконцепции с использованием моделей в качестве характеристик других моделей). Симард и др. постулируем, что этого можно достичь путем стандартизации интерфейсов для моделей и функций по аналогии с элементами интегрированных сред разработки, такими как решения, проекты и зависимости проектов.
  • Контроль версий – все действия преподавателя актуальны и способствуют построению концепции «программы». Следовательно, они должны храниться по аналогии с версиями кода и коммитами и использоваться для облегчения сотрудничества между разными учителями и интеграции их вкладов.

В основном в документе предлагается набор принципов для нетрадиционного и свободного от посредников подхода к обучению системам машинного обучения, который дает учителю машинного обучения полное владение процессом, исключая экспертов по машинному обучению и системных инженеров из цикла. Здесь предметная область и обучающее знание являются одновременными условиями, избирающими учителей на эту роль. Как эксперты в предметной области, учителя машин должны лучше понимать концепции, и при правильной инфраструктурной поддержке и заданных предположениях о том, как эта поддержка предоставляется, утверждается, что учителя машин смогут выражать концепции и эффективно их обучать.

Справочник

Патрис Симард, Салема Амерши, Макс Чикеринг, Алисия Эдельман Пелтон, Соруш Гораши, Крис Мик, Гонсало Рамос, Джина Су, Йохан Вервей, Мо Ван, Джон Вернсинг (2017) Машинное обучение: Новая парадигма построения систем машинного обучения