Изучение вариантов непрерывного математического моделирования для оценки продолжительности задания с точки зрения продолжительности и количества вопросов.

Наш предыдущий пост в блоге будет хорошим приквелом перед прочтением этого поста. Короче говоря, наша платформа алгоритмически реализует педагогику, основанную на мастерстве, в различных учебных программах для высших учебных заведений США.

Представьте, что вы инструктор, который создает онлайн-курс на нашей адаптивной платформе. Вы начинаете с создания задания, выбирая цели обучения (LO) для этой цели. Поскольку высшее образование в США следует модели, основанной на кредитах, типичная учебная программа курса с кредитами будет выделять время для занятий, домашних заданий и часов выполнения заданий. Как инструктор, вы должны знать: сколько времени потребуется студенту, чтобы выполнить задание?

В адаптивном мире инструктор выбирает LO. А затем «адаптивный механизм рекомендаций» Knewton выбирает вопросы, на которые учащиеся будут отвечать в задании. Адаптивная платформа Knewton (которая поддерживает адаптивные задания WileyPLUS и Alta) постоянно оценивает уровень знаний учащегося и текущий уровень знаний и пытается закрыть пробелы в знаниях (если таковые имеются), предоставляя корректирующий контент.

При таком сценарии изменение длины задания определяется не только продолжительностью, которую учащийся потратит на каждый вопрос при выполнении задания, но также зависит от количества вопросов, на которые учащийся должен будет ответить, прежде чем адаптивная платформа удовлетворен уровнем знаний учащегося по этой цели обучения. Для некоторых студентов это будет включать время, необходимое для практики и изучения материалов. Таким образом, преподаватели должны иметь представление о предстоящей работе с точки зрения как продолжительности, так и количества вопросов, на которые студент обычно должен ответить, чтобы выполнить задание.

Для ответа на этот вопрос в нашей отрасли широко применяются несколько методологий. Чтобы получить эту оценку, преподаватели обычно используют свой опыт, или они оценивают, сколько времени им потребуется, чтобы выполнить задание, и умножают на какой-либо коэффициент, или они могут использовать опросы для сбора данных от студентов о том, сколько времени это заняло, и использовать это. информацию, когда они настраивают будущие задания.

Но почему бы не попытаться ответить на этот вопрос математически, имея уже имеющиеся данные/опыт. Прежде чем мы углубимся в наш подход к моделированию, что нам открыл наш первоначальный исследовательский анализ данных о структурах заданий?

Просмотр исторических данных из Alta показал нам, что иногда задание может быть сосредоточено только на одном LO, а иногда оно может иметь 6 или более разных LO. Точно так же количество вопросов в задании может варьироваться в зависимости от уровня знаний учащегося, текущего уровня знаний и контента, рекомендованного платформой. Начальный EDA показывает, что учащийся может выполнить задание, задав от 4 до 20 вопросов (а иногда и больше).

Дальнейшая нарезка данных показывает, что цели обучения подпадают под разные уровни сложности, такие как легкий, средний и сложный, что приводит к завершению количества вопросов.

Какие данные у нас есть и какие проблемы с ними связаны?

Все исторические взаимодействия студентов в Alta фиксируются для уже существующих графов знаний и LO. В учебной среде динамика постоянно меняется, и множество других факторов, таких как изменение курса или ЛО или его предпосылок, могут повлиять на то, как работают ЛО. В LO всегда есть диапазон времени завершения, поэтому мы должны явно представлять неопределенность. У нас также часто есть новый контент без ранее существовавших данных и изменения в среде обучения или представлении контента, которые требуют от нас возможности масштабирования от хороших предположений до оценок на основе данных по мере поступления или изменения данных. Нам также нужны хорошие гарантии и наблюдаемость, чтобы обеспечить хороший пользовательский опыт.

Учитывая вышеперечисленные проблемы, наш первоначальный подход заключается в построении модели, которая будет начинаться с разумных значений по умолчанию. По мере того, как мы получаем больше информации о завершении LO, мы должны постоянно обновлять нашу лучшую оценку на основе новых данных. Мы решили начать с априорного мнения об оценке и использовать байесовское обновление для преобразования априорных убеждений в апостериорные значения каждый раз, когда поступают новые данные. Мы выбрали сопряженную априорную байесовскую модель из-за скорости вычислений и простоты уравнений обновления решения в закрытой форме.

"Часть 2"