Публикации по теме 'self-supervised-learning'


Постоянно развивающиеся задачи предварительного обучения для языковых моделей
Самоконтролируемое обучение (SSL) является основой предварительно обученных языковых моделей на основе преобразователя, и эта парадигма включает в себя решение задач предварительного обучения (PT), которые помогают в моделировании естественного языка. В этой статье мы расскажем обо всех популярных предтренировочных задачах. Функция потерь в SSL Функция потерь здесь представляет собой просто взвешенную сумму потерь отдельных задач предварительного обучения, на которых обучается модель...
Прорывы в обучении репрезентациям: что такое обучение репрезентациям?
В этом году мне посчастливилось присутствовать на Международной конференции по обучению репрезентации (ICLR), проходившей в Кигали, Руанда. У меня была возможность ознакомиться с новейшими исследованиями, пообщаться с коллегами-профессионалами и проникнуться коллективной мудростью сообщества ИИ. В этой серии блогов я хотел бы поделиться четырьмя вещами, которые должен знать каждый инженер по машинному обучению. Во-первых, в этом сообщении блога будет обсуждаться общая концепция Обучения..
Системы прогнозирования типов от IBM устраняют необходимость в ручных аннотациях к графам знаний
Графы знаний (KG) — это графы, используемые для накопления и передачи реальных знаний. Узлы KG собирают информацию об интересующих объектах (таких как люди, места или события) в данном домене или задаче, а ребра представляют связи между ними. Чтобы предоставить жизненно важную информацию для связанных задач, таких как ответы на вопросы базы знаний (KBQA), использовались различные семантические веб-технологии для представления KG с явной семантикой, определяя тип для каждого узла...
Подход Microsoft к обнаружению и исправлению ошибок с самостоятельным наблюдением улучшает базовые показатели до 30%
Почти 50 лет назад пионер информатики Брайан Керниган писал: «Отладка в два раза сложнее, чем написание программы. Так что, если вы настолько умны, насколько это возможно, когда вы это пишете, как вы сможете отлаживать его?» В то время как современные компьютеры сильно эволюционировали, мало что изменилось в отношении обнаружения и исправления ошибок…
Внутри Data2vec 2.0: новая самоконтролируемая модель Meta AI для зрения, речи и текста
Новая модель отличается значительным улучшением производительности по сравнению с предыдущей моделью. Недавно я запустил образовательный информационный бюллетень, посвященный ИИ, у которого уже более 150 000 подписчиков. TheSequence — это информационный бюллетень, ориентированный на ML, без BS (то есть без шумихи, без новостей и т. д.), который занимает 5 минут…
Введение в самостоятельное обучение
Самоконтролируемое обучение — это мощный метод в области машинного обучения, который позволяет моделям учиться на неразмеченных данных. В отличие от традиционного обучения с учителем, где для обучения требуются размеченные данные, обучение с самоконтролем использует внутреннюю структуру или закономерности данных для автоматического создания меток. Что такое самостоятельное обучение? При самостоятельном обучении модель обучается прогнозировать определенные свойства или отношения в данных..
Самоконтролируемое обучение обработке естественного языка (НЛП): раскрытие силы немаркированного…
Почему ИИ записался в класс самостоятельного обучения? Научиться себя маркировать, конечно! Самоконтролируемое обучение (SSL) — замечательная область, особенно в области обработки естественного языка (NLP). В этой статье давайте изучим SSL в НЛП, поймем его ключевые концепции и узнаем, как он меняет мир языковой обработки. Что такое самостоятельное обучение в НЛП? Представьте себе, если бы машина могла учиться без того, чтобы человек давал метки. В этом суть самоконтролируемого..