Многозадачное обучение — это подразделение машинного обучения, которое позволяет находить решения различных, множественных и тесно связанных задач одновременно. В многозадачном обучении (MTL) модели обучаются на данных из нескольких задач одновременно, при этом используются общие представления для изучения общих идей между группой связанных задач. MTL обеспечивает более высокую эффективность обработки данных и, следовательно, более высокую скорость обучения по сравнению с одной задачей. Необходимо оптимизировать сразу несколько функций потерь, что позволяет получить более обобщенное представление данных. Многозадачное обучение также помогает улучшить производительность модели, выступая в качестве регуляризатора и уменьшая переоснащение. Этот вид обучения в основном вдохновлен людьми, поскольку мы учимся лучше, когда одновременно смотрим на несколько связанных задач, а не на одну конкретную задачу.
1. Общий доступ к жестким параметрам. При совместном использовании жестких параметров общие скрытые уровни предназначены для всех задач. Это уменьшает переоснащение, поскольку общий скрытый слой изучает представления из различных задач.
2. Совместное использование мягких параметров. При совместном использовании мягких параметров модели имеют свои собственные скрытые слои, а также собственные веса и смещения. Расстояние между этими параметрами в разных моделях упорядочивается таким образом, что параметры становятся похожими и могут представлять все задачи.
Есть один недостаток в использовании MTL, когда задачи не похожи или не тесно связаны друг с другом. В этом случае MTL плохо изучает представления и, таким образом, снижает общую производительность. MTL можно использовать в широком спектре приложений, таких как обнаружение объектов, беспилотные автомобили, прогнозирование запасов, языковое моделирование и т. д. Некоторые из вариантов мотивационного использования MTL — это задачакономия, которая решает более 20 задач на компьютере. зрение за раз. Еще одна замечательная работа — decaNLP, в которой рассматриваются несколько задач НЛП, таких как анализ настроений, семантический анализ, перевод, ответы на вопросы и т. д. Это также может иметь решающее значение для внедрения обучения с подкреплением для воспроизведения поведения, подобного человеческому, которое реализовано в Distral от Deep Mind.
Более того, MTL помогает в выборе функций, потому что, когда одна функция важна для более чем одной задачи, это означает, что возможно, этот признак более важен, чем другие, и может быть репрезентативным для данных. Следовательно, использование MTL может повысить производительность алгоритмов машинного обучения в производстве за счет совместного использования представлений из нескольких задач, которые тесно связаны друг с другом. Он имеет большой объем исследований и способен сделать машины более интеллектуальными и способен приблизить машины на один шаг к человеческому интеллекту.
Использованная литература -
