В других местах есть много подробных объяснений, поэтому здесь я хотел бы поделиться некоторыми примерами вопросов в условиях интервью.
Что такое тест GLUE для систем понимания естественного языка?
Вот несколько примеров ответов для ознакомления читателей:
Тест GLUE – это оценка общего понимания языка. Это один из наиболее часто используемых тестов в обработке естественного языка. По сути, это набор наборов данных и задач, которые используются для обучения, оценки и анализа систем понимания естественного языка. В нем много наборов данных, и каждый набор данных имеет несколько жанров, разный размер и разную сложность.
В частности, GLUE состоит из:
– эталонный тест из девяти заданий на понимание языка с предложениями или парами предложений, созданный на основе установленных существующих наборов данных и выбранный для охвата различных размеров наборов данных, текстовых жанров и степеней сложности.
– набор диагностических данных, предназначенный для оценки и анализа производительности модели в отношении широкого спектра лингвистических явлений, встречающихся в естественном языке, и
– Публичная таблица лидеров для отслеживания производительности в тесте и панель мониторинга для визуализации производительности моделей в диагностическом наборе.
Дополнительное обсуждение о GLUE
Ниже приводится сводка каждой задачи GLUE:
Краткий обзор теста GLUE
Бенчмарк GLUE имеет человеческий базовый уровень, как вы можете видеть ниже в его таблице лидеров. Среди 9 задач уже были многочисленные модели, превосходящие человеческие возможности.
Задача Винограда (WNLI) — хороший пример того, как люди превосходят машины. Это сделано намеренно, так как задача требует здравого смысла и практического применения, чтобы дать правильный ответ, и иногда формулируется так, чтобы преднамеренно помешать подходу, который полностью зависел бы от статистической совпадения.
Проверьте объяснениедоктор Юнес Бенсуда Муррииз Deeplearning.ai:
Чтобы загрузить наборы данных GLUE: Этот скрипт содержит инструкции и код.
Пример тонкой настройки модели BERT для тестирования на GLUE:
Именно так выглядит реализация BertForSequenceClassification.
Удачной практики!
Спасибо, что читаете мою рассылку. Вы можете подписаться на меня в Linkedin!
Примечание. Существуют разные точки зрения на вопрос интервью. Автор этого информационного бюллетеня не пытается найти ссылку, исчерпывающе отвечающую на вопрос. Скорее, автор хотел бы поделиться некоторыми быстрыми выводами и помочь читателям подумать, попрактиковаться и провести дополнительные исследования по мере необходимости.
Источник видео/ответов: Обработка естественного языка с помощью моделей внимания доктор Юнес Бенсуда Муррииз Deeplearning.ai
Источник изображений/Хорошие чтения: GLUE Explained: Understanding BERT Through Benchmarks by Chris McCormick