«Это делают деревья, чувак».
«Что это?»
«Каждый раз, когда поднимается ветер, ветви начинают колыхаться. Деревья создают ветер, чувак

Не помню, где впервые это услышал. Рисовать ленивую картину ленивого ума в ленивый день. Тогда это меня поразило, как и сейчас. Если парень в гамаке (мы могли бы предположить) находился с подветренной стороны от деревьев, они бы раскачивались до того, как он почувствовал ветер. Это простое объяснение. Чтобы лучше знать, нужно больше наблюдения. Может быть, ветер и ветер. Более сложная модель причинно-следственной связи.

Мы ценим простоту, потому что она мощная. Это быстро. В нем даже есть иллюзия мудрости. Тем не менее, это наивно. Успех простоты часто оказывается ложью. Деревья не дуют ветра.

Недавние публикации DeepMind, посвященные предсказуемому картированию, которое может происходить в нашем гиппокампе, предлагая справочную таблицу для концепций, предполагают, что простота заложена в нашем концептуальном воспоминании. То есть концепции, которые эффективно упрощаются, чтобы их было легче найти для рассмотрения из-за того, как мы их храним, с большей вероятностью будут учитываться при планировании или прогнозировании будущего. Это имеет смысл для эффективности. Обеспечение быстрого и разнообразного начального рассмотрения новых сценариев окружающей среды. На основе предыдущих успешных убеждений.

«Мы утверждаем, что ячейки энторинальной сетки кодируют базисный набор низкой размерности для прогнозного представления, полезный для подавления шума при прогнозировании и извлечения многомасштабной структуры для иерархического планирования»

Однако останавливаться на достигнутом лень. В нижних ветвях. Этот процесс упрощения предназначен для того, чтобы подвести нас к правильным вопросам, а не дать окончательный ответ. Тем не менее, мы по-прежнему допускаем, что «простое лучше» имеет больший вес, чем мы должны в соображениях более высокого уровня.

Ненавижу притуплять бритву, но Оккам не нашел большой мудрости. Я предполагаю, что он стал жертвой неизбежного самореализующегося трюизма. Дело не в том, что более простое решение более вероятно. Но чем проще концепция / модель, тем больше вероятность того, что она сама по себе может соответствовать большему количеству задач, но с меньшей эффективностью и специфичностью прогнозирования. Обобщение - это здорово. Но, как правило, не хватает деталей.

В моей работе в качестве исследователя машинного обучения очень часто (почти неизбежно) лучшее решение начинается с простой низкоуровневой фильтрации, которая затем выливается в модель глубокой плотной сети. Сами глубокие сети начинают встраивать это в свои структуры.

Мы ищем убежища в простых вещах. Но на самом деле это обычно только первая страница нужной книги.