Мы можем генерировать такие вопросы, как MCQ, вопросы «Верно / неверно», «Заполнить пробелы», сопоставить следующие вопросы, используя методы НЛП.
Мы будем использовать библиотеки NLP, такие как Spacy, NLTK, AllenNLP, преобразователи HuggingFace и т. Д.
Мы можем создавать отвлекающие факторы (неправильный выбор) для вариантов MCQ, используя несколько подходов, таких как Wordnet, ConceptNet и Sense2vec.
WordNet - это большая лексическая база данных английского языка. Wordnet маркирует семантические отношения между словами. Wordnet также улавливает различные значения слова. Например, мышь может означать животное или компьютерную мышь.
ConceptNet - это бесплатный многоязычный граф знаний. Он включает в себя знания из краудсорсинговых ресурсов и ресурсов, созданных экспертами. ConceptNet также используется для создания встраиваемых слов, таких как glove, word2vec и т. Д. Подобно wordnet, conceptnet маркирует семантические отношения между моделями.
В sense2vec слова с одинаковым смыслом различаются частями речи, например, утка / глагол и утка / существительное.
Мы можем генерировать вопросы True или False, используя предварительно обученные модели, такие как BERT предложения, анализатор группы интересов и OpenAI GPT-2.
Мы можем генерировать MCQ из любого контента, обучая модель трансформатора T5 с помощью библиотеки HuggingFace.
Здесь мы будем использовать набор данных SQUAD для обучения модели генерации вопросов с помощью библиотеки HuggingFace Transformers и Pytorch Lightning.
Мы можем сгенерировать вопросы для заполнения пробелов и сопоставить следующий вопрос, используя библиотеку извлечения ключевых слов Python для извлечения ключевых слов, использовать библиотеку flashtext для быстрого сопоставления ключевых слов и визуализировать заполнение пробелов с помощью HTML ElementTree в Colab и использовать BERT для выполнения слов смысл разрешения неоднозначности (WSD) для соответствия следующему
Большие языковые модели, такие как GPT-2, превосходно генерируют очень реалистично выглядящий текст, поскольку они обучены предсказывать, какие слова будут следующими после приглашения на ввод. Это привело к появлению множества творческих приложений, таких как Talk To Transformer и текстовая игра AI Dungeon.
использованная литература
