Есть песня Леонарда Коэна, в которой говорится, что «все знают» и «так оно и есть». То же самое касается и того факта, что количество данных, генерируемых онлайн-деятельностью, стремительно растет. Это верно, потому что все больше и больше нашей торговли, развлечений и общения происходит через Интернет, и, несмотря на опасения по поводу глобализации и точности информации, эту тенденцию невозможно обуздать. Как поток данных, это цунами данных касается всех нас, поэтому более чем естественно, что оно захватывает и образование. С распространением аналитики и экспериментов по интеллектуальному анализу данных в образовании становится необходимостью отделить факты от вымысла и определить исследовательские возможности и практические приложения.
Образовательный интеллектуальный анализ данных и аналитика обучения работают на основе предположений о шаблонах и прогнозах. Обе дисциплины используются для исследования и построения моделей в нескольких областях, влияющих на системы онлайн-обучения. Суть в том, что если мы сможем различить закономерности в данных и понять, что происходит, мы сможем предсказать, что должно произойти дальше, и предпринять соответствующие действия. В деловом мире это называется проницательностью, и от этого зависит, заработаете ли вы «большие деньги» или будете застигнуты врасплох. Так что поверьте мне, это ценно.
Интеллектуальный анализ данных в образовательных целях может использоваться в основном в двух больших областях. Одним из них является пользовательское моделирование, которое включает в себя то, что учащийся знает, каково его поведение и мотивация, каков пользовательский опыт и насколько пользователи удовлетворены онлайн-обучением. Что ж, те же данные, которые используются для моделирования, можно использовать для профилирования пользователей. Профилирование означает группировку похожих пользователей в категории по характерным признакам. Затем эти категории можно использовать, чтобы предложить опыт группам пользователей или дать индивидуальные рекомендации и продолжить адаптацию к тому, как работает система онлайн-обучения.
На этом этапе необходимо небольшое пояснение: системы онлайн-обучения относятся к онлайн-курсам, обучающему программному обеспечению или интерактивным учебным средам, в которых используются интеллектуальные системы обучения, виртуальные лаборатории или симуляции. Они могут предлагаться через систему обучения или управления курсами и через учебную платформу. Когда системы онлайн-обучения используют данные для изменения в зависимости от успеваемости учащихся, они становятся адаптивной средой обучения.
Более широкое использование онлайн-обучения предлагает некоторые возможности, такие как интеграция оценки и обучения и сбор информации практически в режиме реального времени, чтобы улучшить обучение в будущем. Этот процесс выглядит следующим образом: по мере того, как студенты работают, система фиксирует их входные данные, собирая свидетельства действий, знаний и использованной стратегии. Здесь учитывается все: информация, которую каждый учащийся выбирает или вводит, количество попыток, которое делает учащийся, распределение времени между частями процесса, а также количество подсказок и отзывов.
Поскольку учащиеся могут извлечь выгоду из подробных данных об обучении, более широкое образовательное сообщество может процветать благодаря взаимосвязанной системе обратной связи — например, что лучше работает для определенного контента и как стимулировать необходимые навыки, такие как метапознание. Как сказано в отчете Министерства образования США за 2010 г. (National Education Technology Plan — NETP, 2010a, p. 35): «Целью создания взаимосвязанной системы обратной связи будет обеспечение того, чтобы ключевые решения об обучении основываются на данных, и эти данные агрегируются и становятся доступными на всех уровнях системы образования для постоянного совершенствования».
Ожидается, что эти обучающие системы смогут подробно использовать данные об активности учащихся, чтобы рекомендовать, какой должна быть следующая деятельность, а также предсказывать, как конкретный учащийся будет работать в будущих учебных мероприятиях, имея возможность соединять точки и делать выводы. представляет собой необходимость. Именно здесь начинается интеллектуальный анализ данных и обучающая аналитика.
Понимание больших данных
Хотя использование данных для улучшения процессов принятия решений не ново — они используются в так называемой бизнес-аналитике или аналитике — это относительно новый подход к образованию. Как и их бизнес-партнеры, анализ обучения может различать исторические закономерности и тенденции из данных и создавать модели, которые предсказывают будущие тенденции и закономерности и включают прикладные методы из компьютерных наук, математики и статистики для извлечения полезной информации из очень больших наборов данных.
Обычно данные хранятся в структурированном формате, которым легко манипулировать компьютеры. Однако данные, собранные с обучающих платформ, имеют семантическую структуру, которую трудно различить с помощью вычислений без помощи человека, поэтому они называются неструктурированными данными (например, текстами или изображениями). Для анализа этих событий требуются методики, работающие с неструктурированными текстовыми и графическими данными, а также с данными из нескольких источников. Когда эти данные составляют огромное количество, мы имеем знаменитые большие данные. Важно понимать, что большие данные не имеют фиксированного размера, это концепция. Поскольку любое заданное число, назначенное для его определения, будет меняться по мере развития вычислительных технологий для обработки большего количества данных, большие данные определяются относительно текущих возможностей.
Большие данные, интеллектуальный анализ образовательных данных и аналитика обучения
Большой объем данных, получаемых из онлайн-поведения, питает алгоритмы и позволяет им делать выводы о знаниях, намерениях и интересах пользователей, а также строить модели, которые могут предсказывать будущее поведение и интерес. Для достижения этой цели интеллектуальный анализ данных и аналитика применяются как области образовательного интеллектуального анализа данных и аналитики обучения. Хотя между ними нет жесткого различия, у них разная история исследований и разные области исследований.
В целом образовательный интеллектуальный анализ данных (также известный как EDM) ищет новые закономерности в данных и разрабатывает новые алгоритмы и модели, используя статистику, искусственный интеллект и (конечно) интеллектуальный анализ данных для анализа данных, собранных во время преподавания и обучения. Аналитика обучения, например, применяет известные прогностические модели в учебных системах, используя различные знания, такие как информатика, социология и психология, а также статистика, искусственный интеллект и интеллектуальный анализ данных, чтобы влиять на образовательную практику.
Образовательный анализ данных
Если немного углубиться в тему, то необходимость понимания того, как учащиеся учатся, является основной движущей силой образовательного интеллектуального анализа данных. Набор вычислительных и психологических методов и исследовательских подходов, поддерживаемых интерактивными методами и инструментами обучения, такими как интеллектуальные системы обучения, симуляции, игры, открыл возможности для сбора и анализа данных об учащихся и выявления закономерностей и тенденций в этих данных. Алгоритмы интеллектуального анализа данных помогают находить переменные, которые можно исследовать для моделирования, и, применяя методы интеллектуального анализа данных, которые классифицируют данные и находят взаимосвязи, эти модели можно использовать для изменения того, что учащиеся испытывают дальше, или даже для рекомендаций вне академических заданий для поддержки их обучения.
Важной особенностью образовательных данных является то, что они иерархичны. Все данные (из ответов, сессий, учителей, классов и т. д.) вложены друг в друга. Группировка по времени, последовательности и контексту обеспечивает уровни информации, которые могут показать влияние продолжительности практических занятий или времени, затрачиваемого на обучение, а также то, как понятия строятся друг на друге и как следует упорядочивать практику и обучение. Предоставление этой информации правильного контекста помогает объяснить результаты и узнать, работает ли предложенная стратегия обучения или нет. Методы, которые сыграли важную роль в стимулировании разработок в области добычи образовательных данных, связаны с:
1) Чтобы предсказать, чтобы понять, какое поведение в среде онлайн-обучения, например участие в дискуссионных форумах и прохождение практических тестов, можно использовать для прогнозирования результатов, например, какие учащиеся могут провалить урок. Это помогает разрабатывать модели, которые дают информацию, которая может помочь лучше связать процедуры или факты с определенной последовательностью и количеством практических заданий, которые лучше всего стимулируют обучение. Это также помогает прогнозировать или понимать образовательные результаты учащихся, такие как успехи на посттестах после обучения.
2) Кластеризация, то есть поиск точек данных, которые естественным образом группируются вместе и которые можно использовать для разделения полного набора данных на категории. Примерами кластеризации являются группировка учащихся на основе их трудностей в обучении и моделей взаимодействия или группировка по сходству рекомендуемых действий и ресурсов.
3) К взаимосвязи, что означает обнаружение взаимосвязей между переменными в наборе данных и кодирование их в виде правил для последующего использования. Эти методы можно использовать для связывания активности учащихся (в системе управления обучением или на дискуссионных форумах) с оценками учащихся, для связывания контента с типами пользователей, для создания рекомендаций по контенту, который может быть интересным, или даже для внесения изменений в подходы к обучению. Эта последняя область, называемая аналитикой обучения, приобретает все большее значение и является ключом к выяснению того, какие педагогические стратегии ведут к более эффективному или надежному обучению.
4) К дистилляции, которая представляет собой метод, который включает в себя отображение данных таким образом, чтобы люди могли быстро идентифицировать или классифицировать особенности данных. Эта область интеллектуального анализа образовательных данных улучшает модели машинного обучения, позволяя людям легче выявлять шаблоны или функции, такие как учебные действия учащихся, их поведение или сотрудничество между учащимися.
5) Для обнаружения модели, которая представляет собой метод, включающий использование проверенной модели (разработанной с помощью таких методов, как предсказание или кластеризация) в качестве компонента дальнейшего анализа. Обнаружение с помощью моделей поддерживает обнаружение взаимосвязей между поведением учащихся и характеристиками учащихся или контекстуальными переменными, анализ исследовательских вопросов в самых разных контекстах и интеграцию психометрического моделирования в модели машинного обучения.
Аналитика обучения
Аналитика обучения делает акцент на измерении и сборе данных как на действиях, необходимых для проведения, понимания, анализа и представления данных в образовательных целях. В отличие от образовательного интеллектуального анализа данных, аналитика обучения обычно не делает упор на разбиение обучения на компоненты, а вместо этого стремится понять целые системы и поддержать принятие решений человеком. Опирается на широкий спектр академических дисциплин, включая концепции информатики, компьютерных наук, социологии, статистики, психологии и наук об обучении.
Цель состоит в том, чтобы ответить на важные вопросы, которые влияют на то, как студенты учатся, и помочь нам понять, как лучше всего улучшить организационные системы обучения. Поэтому особое внимание уделяется моделям, которые могут ответить на такие вопросы, как:
- Когда учащиеся готовы перейти к следующей теме?
- Когда студент рискует не закончить курс?
- Каков наилучший следующий курс для данного студента?
- Какую помощь следует оказывать?
Поскольку визуальное представление аналитики имеет решающее значение для создания действенного анализа, информация часто представлена в виде панелей мониторинга, которые отображают данные в легко усваиваемой форме. Хотя методы, используемые в аналитике обучения, основаны на методах, используемых в интеллектуальном анализе образовательных данных, он может дополнительно использовать анализ социальных сетей (для определения отношений и взаимодействий между учениками и учениками, которые помогают выявить отключенных учеников, влиятельных лиц, д.) и социальные метаданные, чтобы определить, чем занимается пользователь.
По мере того, как контент перемещается в онлайн, а мобильные устройства для взаимодействия с контентом обеспечивают круглосуточный доступ, 7 дней в неделю, поймите, какие раскрываемые данные могут привести к фундаментальным изменениям в системах преподавания и обучения в целом. Учащиеся и преподаватели всех уровней могут извлечь выгоду из понимания возможностей использования больших данных в образовании. Интеллектуальный анализ данных и аналитика обучения — это два мощных инструмента, которые могут помочь сформировать будущее человеческого обучения.
Ссылки
Анайя, А. Р. и Дж. Г. Ботикарио. 2009. «Подход к интеллектуальному анализу данных для выявления репрезентативных показателей сотрудничества в открытых структурах сотрудничества». В Educational Data Mining 2009: Proceedings of the 2nd International Conference on Educational Data Mining, под редакцией Т. Барнса, М. Десмаре, К. Ромеро и С. Вентуры, 210–219.
Амерши С. и К. Конати. 2009. «Сочетание неконтролируемой и контролируемой классификации для создания пользовательских моделей для исследовательских сред обучения». Journal of Educational Data Mining1 (1): 18–71.
Байзек Д., Дж. Брукс, В. Джером, М. Ловетт, Дж. Риндерле, Г. Рул и К. Тилле. 2008. «Оценка и обучение: две стороны одной медали». В Материалы Всемирной конференции по электронному обучению в корпоративном, государственном, здравоохранительном и высшем образовании, 2008 г., под редакцией Г. Ричардса. Чесапик, Вирджиния: AACE, 560–565.
Бейкер, R.S.J.d. 2011. «Интеллектуальный анализ данных для образования». В Международной энциклопедии образования, 3-е изд., под редакцией Б. Макгоу, П. Петерсона и Э. Бейкера. Оксфорд, Великобритания: Эльзевир.
Бейкер, R. S. J. d., A.T. Корбетт и В. Алевен. 2008. «Более точное моделирование учащихся с помощью контекстной оценки вероятностей промахов и предположений в байесовском отслеживании знаний». В Материалы 9-й Международной конференции по интеллектуальным системам обучения. Берлин, Гейдельберг: Springer-Verlag, 406–415.
Бейкер, R. S. J. d., A.T. Корбетт, К. Р. Кёдингер и И. Ролл. 2006. «Обобщение обнаружения игр с системой в учебной программе». В Материалы 8-й Международной конференции по интеллектуальным системам обучения. Берлин, Гейдельберг: Springer-Verlag, 402–411.
Бейкер Р.С., А.Т. Корбетт, К.Р. Кёдингер и А.З. Вагнер. 2004. «Внезадачное поведение в классе когнитивного репетитора: когда учащиеся «играют с системой». Материалы конференции SIGCHI по человеческому фактору в вычислительных системах (CHI '04). Нью-Йорк, штат Нью-Йорк: Ассоциация вычислительной техники, 383–390.
Бейкер, Р. С. Дж. Д., С. М. Гауда и А. Т. Корбетт. 2011. «Автоматическое определение подготовки учащегося к будущему обучению: помощь в использовании — это ключ». В Материалы 4-й Международной конференции по интеллектуальному анализу данных в образовании, под редакцией М. Печеницкого, Т. Колдерса, К. Конати, С. Вентуры, К. Ромеро и Дж. Стампера, /эм>179–188.
Бейкер, Р. С. Дж. Д. и К. Ясеф. 2009 г. «Состояние интеллектуального анализа данных в образовании в 2009 г.: обзор и планы на будущее». Journal of Educational Data Mining1 (1): 3–17.
Бальдуцци М., К. Платцер, Т. Хольц, Э. Кирда, Д. Бальзаротти и К. Крюгель. 2010. Злоупотребление социальными сетями для автоматического профилирования пользователей. Отчет об исследовании RR-10–233 — EURECOM, Sophia Antipolis; Лаборатория безопасных систем, Технический университет Вены и UCSB.
Бек, Дж. Э. и Дж. Мостоу. 2008. «Как кому следует практиковаться: использование декомпозиции обучения для оценки эффективности различных видов практики для разных типов учащихся». В Материалы 9-й Международной конференции по интеллектуальным системам обучения.
Бликштейн, П. 2011. «Использование аналитики обучения для оценки поведения учащихся в открытых задачах программирования». Материалы Первой международной конференции по аналитике обучения и знаниям. Нью-Йорк, штат Нью-Йорк: Ассоциация вычислительной техники, 110–116.
Браун В., М. Ловетт, Д. Байзек и Дж. Бернетт. 2006. «Улучшение цикла обратной связи для улучшения обучения вводной биологии с использованием цифровой панели инструментов». В Протоколах Всемирной конференции по электронному обучению в корпоративном, государственном, здравоохранительном и высшем образовании 2006I, под редакцией Г. Ричардса. Чесапик, Вирджиния: AACE, 1030–1035.
Корбетт, А. Т. и Дж. Р. Андерсон. 1994. «Отслеживание знаний: моделирование приобретения процедурных знаний». Моделирование пользователей и взаимодействие, адаптированное к пользователям 4 (4): 253–278.
Кроуфорд В., М. Шлагер, В. Р. Пенуэль и Ю. Тояма. 2008. «Поддержка искусства преподавания в богатой данными высокоэффективной учебной среде». В Улучшение школы на основе данных под редакцией Э. Б. Мандинак и М. Хани. Нью-Йорк, штат Нью-Йорк: Издательство Педагогического колледжа, 109–129.
Доусон С., Л. Хиткот и Г. Пул. 2010 г. «Использование потенциала ИКТ: внедрение и анализ систем ИКТ для повышения качества обучения учащихся». Международный журнал управления образованием 24 (2): 116–128.
ОБРАЗОВАНИЕ. 2010. Задачи обучения нового поколения: предпосылки аналитики учащихся. http://www.educause.edu/Resources/NextGenerationLearningChalleng/215028
Элиас, Т. 2011. Обучающая аналитика: определения, процессы и возможности. http://learninganalytics.net/LearningAnalyticsDefinitionsProcessesPotential.pdf
Фэн М., Н. Т. Хеффернан и К. Р. Кёдингер. 2009. «Моделирование пользователей и взаимодействие, адаптированное к пользователям: решение проблемы оценки в онлайн-системе, которая обучает по мере ее оценки». Журнал исследований персонализации (журнал UMUAI) 19 (3): 243–266.
Герхард, Ф. 2001. «Моделирование пользователей при взаимодействии человека с компьютером». Моделирование пользователей и взаимодействие, адаптированное к пользователям 11: 65–86.
Goldstein, P. J. 2005. Академическая аналитика: использование управленческой информации и технологий в высшем образовании. Центр прикладных исследований EDUCAUSE. http://net.educause.edu/ir/library/pdf/ECM/ECM0508.pdf
Граф С., Киншук. В прессе. «Динамическое моделирование стилей обучения учащихся для повышения адаптивности в системах управления обучением». Международный журнал информационных систем и социальных изменений.
Гамильтон, Л., Р. Халверсон, С. Джексон, Э. Мандинак, Дж. Суповиц и Дж. Уэйман. 2009. Использование данных об успеваемости учащихся для поддержки принятия учебных решений (NCEE 2009–4067). Вашингтон, округ Колумбия: Министерство образования США, Институт педагогических наук, Национальный центр оценки образования и региональной помощи.
Чон, Х. и Г. Бисвас. 2008. «Разработка моделей поведения учащихся в среде обучения посредством обучения». В Материалы 1-й Международной конференции по интеллектуальному анализу данных в образовании, Монреаль, Квебек, Канада, 127–136.
Джонсон Л., А. Левин, Р. Смит и С. Стоун. 2010. Отчет Horizon 2010. Остин, Техас: Консорциум новых медиа. http://wp.nmc.org/horizon2010/
Джонсон Л., Р. Смит, Х. Уиллис, А. Левин и К. Хейвуд. 2011. Отчет Horizon 2011. Остин, Техас: Консорциум новых медиа. http://net.educause.edu/ir/library/pdf/HR2011.pdf
Кардан С. и К. Конати. 2011. Структура для фиксации характерного поведения пользователей в новых интерфейсах. В Материалы 4-й Международной конференции по интеллектуальному анализу данных в образовании, под редакцией М. Печеницкого, Т. Колдерса, К. Конати, С. Вентуры, К. Ромеро и Дж. Стампера, /эм>159–168.
Кёк М. и А. Парамитис. 2011. «Моделирование последовательности действий и динамическая кластеризация для персонализированного электронного обучения. Journal of User Modeling and User Adapted Interaction 21 (1–2): 51–97.
Кёдингер, К.Р., Р. Бейкер, К. Каннингем, А. Скогсхольм, Б. Лебер и Дж. Стампер. 2010. «Репозиторий данных для сообщества EDM: Магазин данных PSLC». В Handbook of Educational Data Mining под редакцией C. Romero, S. Ventura, M. Pechenizkiy и R.S.J.d. Бейкер. Бока-Ратон, Флорида: CRC Press, 43–55.
Кёдингер, К., Э. Маклафлин и Н. Хеффернан. 2010. «Квазиэкспериментальная оценка онлайн-системы формирующей оценки и обучения». Journal of Educational Computing Research 4: 489–510.
Лаурия, EJM и J. Baron. 2011. Майнинг Sakai для измерения успеваемости учащихся: возможности и проблемы академической аналитики. http://ecc.marist.edu/conf2011/materials/LauriaECC2011-%20Mining%20Sakai%20to%20Measure%20Student%20Performance%20-%20final.pdf
Лонг, П. и Сименс, Г. 2011. «Проникновение в туман: аналитика в обучении и образовании». Обзор EDUCAUSE 46 (5).
Ловетт М., О. Мейер и К. Тилле. 2008. Инициатива открытого обучения: измерение эффективности курса статистики OLI в ускорении обучения студентов. Специальный выпуск Journal of Interactive Media in Education: Исследование открытого контента в образовании. 14. http://jime.open.ac.uk/2008/14.
Макфайден, Л. П., и С. Доусон. 2010. «Изучение данных LMS для разработки системы раннего предупреждения для преподавателей: доказательство концепции». Компьютеры и образование 54 (2): 588–599.
Маника Дж., М. Чуи, Б. Браун, Дж. Бугин, Р. Доббс, К. Роксбург и А. Х. Байерс. 2011. Большие данные: следующий рубеж инноваций, конкуренции и производительности. Глобальный институт McKinsey. http://www.mckinsey.com/Insights/MGI/Research/Technology_and_Innovation/Big_data_The_next_frontier_for_innovation
Мартин Б., А. Митрович, К. Кёдингер и С. Матан. 2011. «Оценка и улучшение адаптивных образовательных систем с кривыми обучения». Моделирование пользователей и взаимодействие, адаптированное к пользователям 21 (3): 249–283.
Минс, Б., К. Челемер и М.С. Кнапп (ред.). 1991. Обучение продвинутым навыкам учащихся из групп риска: взгляды из исследований и практики. Сан-Франциско, Калифорния: Джосси-Басс.
Мерсерон, А., и К. Ясеф. 2010. «Измерение корреляции правил строгой симметричной ассоциации в образовательных данных». В Handbook of Educational Data Mining под редакцией C. Romero, S. Ventura, M. Pechenizkiy и R. S. J. d. Бейкер. Бока-Ратон, Флорида: CRC Press, 245–256.
Консорциум новых медиа. 2012. Шорт-лист высшего учебного заведения проекта NMC Horizon Project. Остин, Техас: New Media Consortium. http://www.nmc.org/news/download-horizon-project-2012-higher-ed-short-list.
O’Neil, H. F. 2005. Что работает в дистанционном обучении: рекомендации. Гринвич, Коннектикут: Издательство информационного века.
Риз, Д. Д., Р. Дж. Сьюард, Б. Г. Табачник, Б. Хитт, А. Харрисон и Л. Макфарланд. В прессе. «Отчет по времени измеряет обучение: встроенная оценка на основе игры». В Оценка игрового обучения: основы, инновации и перспективы под редакцией Д. Ифенталера, Д. Эсериела и X. Ге. Нью-Йорк, штат Нью-Йорк: Спрингер.
Риттер С., Дж. Андерсон, К. Кёдингер и А. Корбетт. 2007. «Когнитивный репетитор: прикладные исследования в области математического образования». Psychonomic Bulletin & Review 14 (2): 249–255.
Ромеро Ч.Р. и С. Вентура. 2010. «Образовательный интеллектуальный анализ данных: обзор современного состояния». IEEE Transactions on Systems, Man and Cybernetics, Part C: Applications and Reviews40 (6): 601–618.
Siemens, G., и R.S.J.d. Бейкер. 2012. «Обучающая аналитика и интеллектуальный анализ образовательных данных: на пути к общению и сотрудничеству». В Proceedings of LAK12: 2nd International Conference on Learning Analytics & Knowledge, New York, NY: Association for Computing Machinery, 252–254.
Министерство образования США. 2010а. Национальный план образовательных технологий. http://www.ed.gov/technology/netp-2010.
— — — . 2010б. Использование образовательных данных на местном уровне: от подотчетности к повышению качества обучения. Вашингтон, округ Колумбия: Министерство образования США.
— — — . 2010с. Основные понятия и определения конфиденциальности и конфиденциальности в документации об образовании учащихся. Техническое описание SLDS 1. NCES 2011–601. Вашингтон, округ Колумбия: Министерство образования США.
— — — . 2012а. Декабрь 2011 г. — Пересмотренные правила FERPA: обзор SEAS и LEAS. (файл PDF). Вашингтон, округ Колумбия: Министерство образования США. http://www.ed.gov/policy/gen/guid/fpco/pdf/sealea_overview.pdf
— — — . 2012б. Закон о правах семьи на образование и неприкосновенность частной жизни: Руководство по разумным методам и письменным соглашениям (файл PDF). Вашингтон, округ Колумбия: Министерство образования США. http://www.ed.gov/policy/gen/guid/fpco/pdf/reasonablemtd_agreement.pdf
Министерство образования США, Управление образовательных технологий, Улучшение преподавания и обучения с помощью интеллектуального анализа данных и анализа обучения: краткий обзор, Вашингтон, округ Колумбия, 2012 г.
ВанЛен, К., К. Линч, К. Шульце, Дж. А. Шапиро, Р. Х. Шелби, Л. Тейлор, Д. Трейси, А. Вайнштейн и М. Винтерсгилл. 2005. «Система обучения физике в Андах: извлеченные уроки». Международный журнал искусственного интеллекта в образовании 15 (3): 147–204.
Вьегас, Ф. Б., М. Ваттенберг, М. МакКеон, Ф. Ван Хэм и Дж. Крисс. 2008. «Гарри Поттер и морозильная камера с мясом: пример спонтанного использования инструментов визуализации». В Материалы 41-й ежегодной Гавайской международной конференции по системным наукам,159.
Уэйман, Дж. К. 2005. «Вовлечение учителей в процесс принятия решений на основе данных: использование компьютерных систем данных для поддержки исследований и размышлений учителей». Журнал образования для учащихся из групп риска 10(3): 295–308.
