Чтобы использовать технологию машинного обучения, мы должны принять - по крайней мере косвенно - то, что можно описать только как беспорядок. Чтобы компенсировать это, мы разработали различные механизмы поверх общедоступных инфраструктур для исследования, автоматизации и исследования больших данных. Но под ним скрывается причудливая и сложная структура. Независимо от того, как мы пытаемся избежать этого результата, в конечном итоге мы столкнемся со все более усложнением технологий, которые затрагивают все аспекты нашей жизни.
Есть две очевидные причины этого беспорядка, которые переплетаются между собой:
- Неизбежное сведение самой жизни к математике.
- Природные силы, которые мы приписываем алгоритмам, соединяющим шаблоны в беспорядке.
Даже эта попытка собрать мои нелинейные мысли в код слов неизбежно приводит к сокращению идей и намерений. Посмотрим, смогу ли я это преодолеть.
Сокращение данных
Основная природа математики предполагает, что мы можем найти идеальное и наиболее точное уравнение для вычисления самых сложных и загадочных явлений. Мы хотим понять, как вещи связаны друг с другом, и использовать математику, чтобы разгадать секреты Вселенной через отношения между числами. Нам нужно указать номера алгоритмов, чтобы они работали и работали. Это требует, чтобы мы заглянули в суть предмета, искали закономерности и определяли их абсолютную сущность. Технология машинного обучения требует, чтобы мы владели природой; это заставляет нас ошибочно полагать, что мы можем идеально моделировать человеческое поведение, желания и мотивацию.
Мы знаем, что люди - это не все числа. Невозможно найти закономерности в истории без учета прилагаемых социальных, экономических, политических, личных и неожиданных данных. Много усилий вкладывается в попытки найти идеальное уравнение для представления случайного, разнообразного и сложного поведения, человеческих систем и разума. Мы настаиваем на этом - нами слепо движет наша навязчивая идея копировать себя и жить вечно, даже как машины.
Математические модели основаны на прошлом и предположении, что закономерности будут повторяться.
По иронии судьбы, даже если такую операцию можно вычислить, мы не можем найти закономерности, которые предсказывают наше будущее, поскольку у нас просто нет данных. Наше историческое наследие основано на доминирующих культурах и людях. Вместо того чтобы признать это, наши математические модели пытаются это вычислить. Это либо исправит то, что сломано, либо построит изменяющие жизнь структуры на гнилых. Время покажет.
Алгоритмические силы
Инженеры составляют уравнения, которые ищут шаблоны для закрепления и масштабирования нашего кода, а также для вычисления сложных операций, управляемых человеческими предполагаемыми результатами. Мы вдохновляем человеческий мозг и разрабатываем модели, которые отражают наши нейроны в форме нейронных сетей. Наша ассоциативная и долговременная память управляет нашим процессом принятия решений с помощью ярлыков, которые ускоряют наши действия на основе того, что мы уже узнали. В различных комбинациях ярлыков происходит волшебство; они отличают нас друг от друга и в чем заключаются многие наши эмоциональные мотивы.
Эти комбинации продвигают нас как людей, и на них влияют время и пространство так, как мы еще не знаем. Людей движет желание быть любимыми и связанными друг с другом. Машины нет, и я не уверен, что когда-нибудь появятся. В моем последнем посте я подробно остановился на этом и процитировал термин Дэниела Канемана возникающая странность. Ярлыки, сделанные нейронной сетью, не создадут тех же человеческих значений, не исключив полностью контекст и контент. В настоящее время мы находимся в середине (или это все еще только начало?) Состояния, которое заставляет незрелые алгоритмы находить значения и порядок в хаотических данных в матрице, многомерном пространстве.
Меня восхищает текущее состояние этих моделей, результаты которых могут раскрыть кое-что не только о структурах власти, стоящих за ними, но и придать новый смысл, расширяющий реальность и логику. Технология машинного обучения, вероятно, улучшится, и это состояние заикания, вероятно, будет заменено другим, но сейчас хороший момент, чтобы остановиться и рассмотреть это явление, поскольку оно очень похоже на то, как мы потребляем и осмысливаем мир.
Мы проводим большую часть своей жизни в поисках смысла всего, что мы переживаем, надеясь раскрыть загадочные причины нашего существования, размышляя о цели жизни. Мы просим наши машины делать то же самое. Поиск постоянных значений в ежедневных входах и выходах - одна из причин экзистенциального кризиса в наше время. Может ли это быть одним из экзистенциальных кризисов, которые переживут наши машины? Если наступит день независимых мыслящих сущностей, воплотят ли они эти удручающие явления нашего времени?
Это часть текущего исследования, которое я провожу в отношении возможности психических заболеваний в создаваемых нами интеллектуальных машинах.
Замешательство, вызванное ясным пониманием цели
Входные данные заставят сеть машинного обучения изучить существующие данные на предмет сходства или общих шаблонов, которые, мы надеемся, сгенерируют желаемый результат. Модели машинного обучения обучены предоставлять результат. Это может быть неправильный или неправильный результат, но он всегда будет.
Например, в первые дни работы в Volume - инструменте машинного обучения для реконструкции 2D-изображений в 3D-пространстве - Or Fleisher и я использовали Convolutional Neural Network, которая была предварительно обучена на внутренних изображениях, чтобы проверить, как мы может преобразовать однократное изображение в 3D-модель. Когда мы предоставили модели комнатных сцен, и особенно коридоров, результаты были многообещающими:
Но когда мы дали ему что-то за пределами обучающих данных, мы получили ряд ошибок. Некоторые из них были на удивление вдохновляющими (например, облака, которые воспринимались как призрачные объекты с ощутимой массой). Я хочу сказать, что модели машинного обучения будут смотреть на ввод через призму данных, на которых они были обучены.
Один из моих любимых кейсов был обнаружен недавно пользователями Reddit и связан с эффектом нейронного машинного перевода. Google Translate работает с рекуррентной нейронной сетью, которая предназначена для изучения соответствия между входной последовательностью через связь между словами.
Поскольку контекст может придавать одним и тем же словам разное значение, нам нужно научить машину заглядывать в скрытый слой языка. В последнее десятилетие этот подход улучшил результаты Google Translate, но также потребовал от них обучения на более контекстных данных в исходном языке. Что произойдет, если существует ограниченное количество существующих английских переводов с определенного языка? Три основных языка - сомалийский, гавайский и вьетнамский - показывают странные результаты. Настолько странно, что вы могли почувствовать, что кто-то говорит с вами извне.
Объяснение сухое и основано на том факте, что было не так много письменных текстов с английским переводом для обучения на сомалийском, гавайском и вьетнамском языках, как на других распространенных языках. Кроме того, тексты, которые оказались доступными, были, согласно одному источнику, христианскими библиями. Комбинация небольшого и несвязанного набора данных и того факта, что машина была обучена производить что-то любой ценой, показывает волшебные результаты.
Когда вы пробуете это самостоятельно, вы можете почувствовать, как машина постоянно ищет значения в данных, которых нет. Лучшее, что может сделать машина в этом случае, - это предоставить что-то беглое, похожее на вывод, похожий на человеческий язык. Это заставляет нас думать, что может быть скрытое намерение, кто-то разговаривает с нами с другой стороны. Мы очеловечиваем результаты, отражаем самих себя, ищем смыслы в алгоритмах, которые ищут смыслы.
Это вдохновило меня проверить библейские тексты на другой модели. Вместо преобразования текста в текст я хотел поэкспериментировать с генератором текста в изображение. Вместе с Ziv Schneider я нарисовал несколько стихов из первой и второй глав Ветхого Завета, и с помощью Eyal Gruss мы прогнали его на генеративной модели - AttnGAN.
Эта модель была обучена на наборе данных COCO, наборе данных конкретных объектов и предметов из физического мира. Мы спросили: как модель, обученная на предварительно обозначенных изображениях зданий, автомобилей и птиц, отреагирует на Бог видел все, что он создал, и действительно, это было очень хорошо? Как эта модель, с ограниченными знаниями о социальной, культурной и политической структуре, могла бы извлечь смысл из такого непонятного предложения, как И ребро, которое Бог взял у мужчины, он превратил в женщину и привел ее к мужчине?
Мне было любопытно изучить, что происходит, когда мы заставляем машину искать порядок в культурных текстах, в которых нет конкретной причины и явной логики. Результаты были завораживающими. Кажется, что он передает основные элементы общей эмоциональной атмосферы каждого стиха, что-то, что варьируется от духовной связи до черного юмора. В результатах я обнаружил скрытое пространство ошибок и потерь. Может ли это быть порталом для работы с психическим состоянием машины?
Одним из результатов психического заболевания является то, что реальность воспринимается через определенные линзы, не обязательно связанные с полученными данными. Разве это не то, что мы получаем от наших машин? Может ли это быть для нас новым способом понять и осмыслить человеческие искажения и психические состояния?
В рамках своего исследования возможности психических заболеваний при машинном обучении я работаю с замечательной командой над разработкой интерактивного веб-интерфейса (Marrow).
Мы изучаем модели машинного обучения через призму психологии, разрабатывая динамическую структуру истории, которая поощряет взаимодействия и непредсказуемые действия персонажей машинного обучения. В рамках нашей разработки и исследования пользователей технический директор Cristobal Valenzuela (в сотрудничестве с Runway ML) разработал публичный интерфейс для игры с концепцией преобразования текста в изображение. Мы устанавливаем определенные условия и позволяем им расти в дикой, дикой паутине. Мы очень рады видеть волнение, вызванное этой демонстрацией. Казалось, что это давало пользователям немедленный путь для творческого самовыражения с помощью машины, которая вдохновляла на интересные тесты.
Мы общаемся с машинным обучением большую часть дня с помощью различных приложений, которые кажутся идеально работающими. Одна из целей Marrow - использовать систему рассказывания историй, чтобы помочь разобраться в этих сложных системах, привлечь больше людей и расширить диалог. Повествование, которое в основном используется в отношении машинного обучения, довольно нелепо - мы продолжаем классифицировать эту технологию как ужас вместо того, чтобы знакомить публику со значением данных и самой модели. Нам нужны приложения, которые позволяют воспринимать абсурд, ошибки и неожиданные результаты как нечто, что дополняет наше понимание машинного обучения, отходя от практических соображений создания продуктов для потребления. Мы можем использовать эти эксперименты как способ задавать трудные вопросы и обучать людей альтернативным путям.
Размышления о будущем, которое мы сейчас развиваем, - это политический и социальный акт. Но когда инфраструктура, которая диктует наше будущее, кажется недоступной для общественности, возможность для размышлений и комментариев ограничивается экспертами. Это по своей сути закрывает разнообразие точек зрения и голосов. Наша работа направлена на то, чтобы привлечь широкую общественность к решающей дискуссии о будущем, которое мы хотим видеть.
Спасибо, Эмма Дессау за редактирование.
Immerse - это инициатива MIT Open DocLab и The Fledgling Fund, финансируемая IFP. Узнайте больше о нашем видении проекта здесь.
