В других местах есть много подробных объяснений, поэтому здесь я хотел бы поделиться некоторыми примерами вопросов в условиях интервью.

Что такое тест GLUE для систем понимания естественного языка?

Вот несколько примеров ответов для ознакомления читателей:

Тест GLUE – это оценка общего понимания языка. Это один из наиболее часто используемых тестов в обработке естественного языка. По сути, это набор наборов данных и задач, которые используются для обучения, оценки и анализа систем понимания естественного языка. В нем много наборов данных, и каждый набор данных имеет несколько жанров, разный размер и разную сложность.

В частности, GLUE состоит из:

 – эталонный тест из девяти заданий на понимание языка с предложениями или парами предложений, созданный на основе установленных существующих наборов данных и выбранный для охвата различных размеров наборов данных, текстовых жанров и степеней сложности.

– набор диагностических данных, предназначенный для оценки и анализа производительности модели в отношении широкого спектра лингвистических явлений, встречающихся в естественном языке, и

– Публичная таблица лидеров для отслеживания производительности в тесте и панель мониторинга для визуализации производительности моделей в диагностическом наборе.

Дополнительное обсуждение о GLUE

Ниже приводится сводка каждой задачи GLUE:

Краткий обзор теста GLUE

Бенчмарк GLUE имеет человеческий базовый уровень, как вы можете видеть ниже в его таблице лидеров. Среди 9 задач уже были многочисленные модели, превосходящие человеческие возможности.

Задача Винограда (WNLI) — хороший пример того, как люди превосходят машины. Это сделано намеренно, так как задача требует здравого смысла и практического применения, чтобы дать правильный ответ, и иногда формулируется так, чтобы преднамеренно помешать подходу, который полностью зависел бы от статистической совпадения.

Проверьте объяснениедоктор Юнес Бенсуда Муррииз Deeplearning.ai:

Проверь объяснение!

Чтобы загрузить наборы данных GLUE: Этот скрипт содержит инструкции и код.

Пример тонкой настройки модели BERT для тестирования на GLUE:

Именно так выглядит реализация BertForSequenceClassification.

Удачной практики!

Спасибо, что читаете мою рассылку. Вы можете подписаться на меня в Linkedin!

Примечание. Существуют разные точки зрения на вопрос интервью. Автор этого информационного бюллетеня не пытается найти ссылку, исчерпывающе отвечающую на вопрос. Скорее, автор хотел бы поделиться некоторыми быстрыми выводами и помочь читателям подумать, попрактиковаться и провести дополнительные исследования по мере необходимости.

Источник видео/ответов: Обработка естественного языка с помощью моделей внимания доктор Юнес Бенсуда Муррииз Deeplearning.ai

Источник изображений/Хорошие чтения: GLUE Explained: Understanding BERT Through Benchmarks by Chris McCormick