Меня давно интересовали связи между машинным обучением, физикой и жизнью (биологией). Например, я всегда задавался вопросом, можно ли понимать эволюцию как процесс обучения (думайте об этом как о суперорганизмах, которые учатся соответствовать »), или как Лесли Валиант предложил в своей теории эволюционируемости : [естественная эволюция может следует понимать] как ограниченный случай обучаемости PAC.

Точно так же я часто задумываюсь, должен ли наш поиск элегантных теорий в физике (включая ToE) быть предметом того же сильного противоречия между приспособленностью и простотой, которое мы изучаем при выборе теоретической модели, например в байесовском машинном обучении, что я надеюсь проиллюстрировать этим вопросом.

На эту тему я недавно читал по дороге на работу Наша математическая вселенная от Макса Тегмарка. Это вызвало у меня интерес к гипотезе математической вселенной. Одним предложением эта гипотеза в основном утверждает, что все вычислимые математические структуры существуют. Это сильное утверждение, но мне действительно нравится эта книга, и я настоятельно рекомендую ее всем, кто интересуется информатикой и физикой.

Сегодня я наткнулся на отрывок, который копирую ниже. Это хорошее оправдание для веры в то, что Макс называет окончательным ансамблем, то есть последним уровнем предложенной им многоствольной иерархии, которая включает в себя всю нашу физическую реальность. Любой, кто интересуется почему наша Вселенная кажется такой доработанной, а также ролью бритвы Оккама в машинном обучении и физике, вероятно, сочтет это провокационным, если не убедительным (курсив ниже моего):

Весь ансамбль часто намного проще, чем один из его членов. Этот принцип можно сформулировать более формально, используя понятие алгоритмического информационного содержания. Алгоритмическое информационное содержание числа - это, грубо говоря, длина самой короткой компьютерной программы, которая выдаст это число на выходе.

Например, рассмотрим набор всех целых чисел. Что проще: весь набор или одно число? Наивно, вы можете подумать, что одно число проще, но весь набор может быть сгенерирован довольно тривиальной компьютерной программой, в то время как одно число может быть очень длинным. Поэтому на самом деле весь набор проще…

(Точно так же) мультивселенная более высокого уровня проще. Переход от нашей вселенной к мультивселенной уровня I избавляет от необходимости указывать начальные условия, обновление до уровня II устраняет необходимость указывать физические константы, а мультивселенная уровня IV устраняет необходимость вообще что-либо указывать….

Общей чертой всех четырех уровней мультивселенной является то, что самая простая и, возможно, самая элегантная теория по умолчанию включает параллельные вселенные. Чтобы отрицать существование этих вселенных, нужно усложнить теорию, добавив экспериментально неподдерживаемые процессы и специальные постулаты: конечное пространство, коллапс волновой функции и онтологическая асимметрия. Таким образом, наше суждение сводится к тому, что мы находим более расточительным и неизящным: много миров или много слов. Возможно, мы постепенно привыкнем к странностям нашего космоса и обнаружим, что его странности являются частью его очарования.