Если вы пропустили это, пожалуйста, не стесняйтесь прочитать Главу 7.
Глава 8. Когда-то у меня было меньше седых волос: среднее наблюдение за 20-летней статистикой в образовании K-12
Моя 20-летняя карьера в сфере образования привела меня к такому повторяющемуся выводу: как только представляется одно статистическое число — обычно из «исследований», оно становится универсальной истиной. Оно проникает в нашу психику как вневременное число, независимо от того, что мы позже наблюдаем, находим, знаем или даже интуитивно ощущаем. [31] [32] [33] [33а] [33б]
Может быть причина нашего ментального несоответствия. И Сильвер, и Талеб напоминают нам, что исследования не всегда можно воспроизвести. Статистические данные, приведенные в «этом исследовании эффективности технологий» или в этом «исследовании», могут оказаться непоследовательными.
Однако я не критикую опубликованные исследования: «будьте осторожны, покупатель» или «покупатель, будьте осторожны». Одно исследование не должно стать универсальной, вечной истиной.
Графики, такие как предсказания Disruptive Technologies (Диаграмма 2), являются хорошими примерами. Эти типы изображений пересекают каналы социальных сетей. На каждом этапе они получают «лайки», «избранное» и пресловутые «пятерки». Администраторы используют их на собраниях преподавателей. Выступающие на конференциях используют их в качестве тем для обсуждения. Они превращаются в святой Грааль. Быстро они символизируют, почему нам нужно изменить наше преподавание и учебную программу. Они запечатлеваются в текучем мире.
Однако статистика не должна становиться статичной. Этому нас учат предиктивное моделирование и хорошие методы прогнозирования. Мы часто подходим к исследованиям и статистике в области образования с такой же безвременностью, как и Конституция США.
Эти статистические данные должны быть отправной точкой, а не конечной точкой. Если они становятся временными конечными точками, они не должны становиться бездействующими. Вспомните цикл предсказания-пересмотра (диаграмма 1).
Эффективность программного обеспечения — еще одна классическая устаревшая статистика; тем не менее, это обычный номер, на который мы вешаем шляпы. Эта статистика публикуется через маркетинговые данные или исследования эффективности образовательных технологий [33]. Две вещи часто упускаются из виду: мы забываем, что опубликованные статистические данные представляют собой данные на определенный момент времени, которые подлежат пересмотру, и мы не учитываем вероятность того, что опубликованные результаты будут ниже или выше в наших собственных школах.
Что происходит, когда продукт не работает? Наступает удивление и разочарование. Все, о чем мы можем думать, это первоначальное утверждение, которое мы слышали: 20-процентный прирост баллов с подразумеваемой 100-процентной вероятностью в течение одного года. Эвристика и мышление с двумя и тремя циферблатами отдают приоритет устаревшей статистике.
Как я уже писал ранее, «решения ограничены информацией, используемой для их принятия». [34] Спустя 10 лет я бы изменил свое утверждение: «Решения ограничены самой последней информацией, которая использовалась для их принятия».
В Главе 9 вы узнаете, являетесь ли вы лисой или ежом.
Сноски
[31] Возможно, ваша интуиция частично верна. Нейт Сильвер в Signal and the Noise обсуждает низкую точность опубликованных исследований. Economist также представляет аналогичную тему в коротком видео: http://www.economist.com/blogs/graphicdetail/2013/10/daily-chart-2#. Журнал Science обнаружил, что менее половины исследований могут быть воспроизведены.
[32] Талеб также упоминает об этом: https://medium.com/incerto/an-expert-call-lindy-fdb30f146eaf#.qrd8qj3f9
[33] Эффективность образовательных технологий возросла, особенно благодаря множеству инструментов, доступных на рынке K-12: https://www.edsurge.com/news/2016-03-23-five-things-about- эффективность-которая-должна-быть-интуитивной-но-нет
[33a] Еще один пример того, когда хорошо цитируемое исследование может быть неверным:
http://www.slate.com/articles/health_and_science/cover_story/2016/03/ego_depletion_an_influential_theory_in_psychology_may_have_just_been_debunked.html
[33b] Продолжая тенденцию EdSurge, обсуждение ложных срабатываний в исследованиях в области образования: https://www.edsurge.com/news/2017-02-12-why-what-works-doesn-t-false-positives -в образовании-исследованиях
[34] Моя журнальная статья No Data Left Behind из Learning and Leading with Technology ISTE (февраль 2006 г.) http://files.eric.ed.gov/fulltext/EJ728944.pdf
