Я пока не уверен, есть ли у этой проблемы название, но если его нет, позвольте мне взять маркер и нарисовать вокруг него большое мишень.

Как правило, когда ученый совершает новаторское открытие, процесс, через который он проходит в наши дни, выглядит следующим образом:

Во-первых, это приток данных из внешнего мира, представленных в форматах, понятных самим ученым. Иногда это формально, иногда неформально; мозг, кажется, мало заботится о различии, к большому удовольствию творческих людей во всем мире.

Затем следует период созревания, обычно довольно длительный, в течение которого ученый постоянно мысленно реструктурирует и реорганизует идеи. Если вы когда-либо проходили по-настоящему преобразующий урок в колледже или старшей школе, вам знакомо это чувство; вы, вероятно, очень много работали и какое-то время были очень сбиты с толку, но после того, как вы действительно протолкнулись через все это, вам почти кажется, что ваша интуиция впоследствии была перенастроена. Эпистемическая настройка.

Наконец, наш удачливый ученый создает отток данных. Но это совсем не похоже на приток данных, который они изначально получили; приток был беспорядочным, совершенно разных видов, качеств и средств массовой информации. Отток — это новая теория, которая аккуратно связывает воедино большое подмножество вещей, которыми занимается ученый.

Теории могут быть любого масштаба, от выяснения биологического механизма при каком-то редком раке, вплоть до слияния пространства и времени Эйнштейном в одну элегантную математическую конструкцию. Но есть одна общая черта всех великих теорий: их можно понять как повествование.

Теория — это не просто интересная корреляция. Теория имеет последовательное описание причинно-следственной связи, предпочтительно простое и расширяемое.

Теория эволюции Дарвина чрезвычайно проста и настолько расширяема, что ее применение ведет к совершенно новым парадигмам везде, где она возникает, от экономики до робототехники. Геометрия Евклида начинается с 5 простых аксиом и создает перевернутую пирамиду все более убедительных доказательств с помощью нарративной причинности строгой греческой логики.

Заимствуя из Ribbonfarm и Boing Boing, мест, где я впервые услышал эту идею, мы могли бы назвать это все еще несколько нечетко определенное свойство разборчивостью. Умственные процессы нашего великого ученого могут иметь четкую диаграмму, которая выглядит следующим образом:

Теперь рассмотрим процесс, который, кажется, используют наши современные инструменты машинного обучения:

По-прежнему существует приток данных и отток данных, но разборчивость потеряна. Кажется, что машина все еще не может сжать свое мышление в повествование, которое будет понятно нам, людям, и выделит наиболее важные части.

Это то, что я называю проблемой разборчивости ИИ.

У меня недостаточно знаний в предметной области, чтобы предложить решение. Я уверен, что есть очень умные люди, работающие над этим каждый день даже сейчас. Однако я не слышал, чтобы кто-нибудь называл эту проблему, поэтому, если ее не существует, позвольте мне обратить на нее внимание.

Мы должны стремиться к тому, чтобы ИИ сообщал свои ответы не только в виде цифр и статистики, но и, по возможности, в виде причинно-следственных связей. Таким образом, человек может пройти и понять, о чем думает ИИ, на гораздо более глубоком уровне, чем просто «О, вот шансы, которые он дает для этого».

Без удобочитаемости предвзятость, более тонкая, чем (например) алгоритмы машинного обучения, дающие более высокий уровень повторных заключенных меньшинствам, может остаться незамеченной просто потому, что никто даже не подумал посмотреть в этом направлении. Мы — люди, они — машины — почти беспочвенно кажется, что они увидят в данных совсем другие паттерны, чем мы, особенно в тысячемерном пространстве, где мы едва можем это представить.

Все еще не убеждены? Хорошо, представьте себе следующее: алгоритмы машинного обучения дают конкурентное преимущество компаниям, которые их внедряют. В конце концов, отток данных из одних алгоритмов становится притоком данных к другим алгоритмам, а это означает, что любая ошибка в ранних алгоритмах может каскадировать логическую цепочку к катастрофическим результатам. Мы все видели ситком, полностью основанный на недопонимании — одна и та же идея.

Разборчивость ИИ — серьезная проблема. В наших руках исправить это.