Машинному интеллекту в настоящее время требуется в тысячи раз больше данных, чем нам, прежде чем он изучит задачу. И один человеческий мозг выполняет вычисления, эквивалентные тысяче наших лучших суперкомпьютеров. Если бы мы использовали современные архитектуры нейронных сетей, работающие в масштабе мозга, нам потребовались бы тысячи лет обучения на тысячах суперкомпьютеров, чтобы достичь одного года человеческого обучения! И человеческий мозг достигает этого чуда при минимальных 20 Вт мощности. Наши самые экологичные суперкомпьютеры потребляют в 30 000 раз больше энергии в секунду, а с учетом того, что им потребуется в тысячу раз больше времени для работы, машины в 30 миллионов раз менее энергоэффективны, чем мы. Ах да, закон Мура умер, вы пропустили похороны.
Итак, сингулярности нет?
Не принимайте меня за скептика! Технологии все еще могут догнать homo sapiens sapiens. Быстро. ASIC, такие как TPU от Google, дадут искусственному интеллекту несколько дополнительных удвоений в эффективности процессора. А квантовые компьютеры могут взять на себя часть специализированной тяжелой работы. Я тоже в восторге от 2D-дисульфида молибдена и 3D-архитектуры. Черт возьми, нанотрубки!
Итак, как же машинный интеллект может преодолеть тысячукратный разрыв в данных, тысячукратный разрыв в процессоре и тысячукратный разрыв в энергоэффективности? Эти пробелы могут значительно сократиться, без дальнейших улучшений ИИ ..., если люди не так уж далеко впереди. Что, если большая часть мозга избыточна и разбросана? Машины могут быть ближе к сверхразуму, чем мы думаем.
Ты называешь меня глупым?
Мы гении танца, стрельбы, импровизации и сострадания. Мы глупы, когда дело касается арифметики, запоминания, перевода и точных сравнений. Пусть этим занимаются машины. Но прежде всего люди - визуальные существа; родственники блюдцоглазых лемуров, мы полностью зависим от нашего зрения. В результате мы посвящаем значительную часть нашего мозга обработке зрения, а все остальные наши специализации втиснулись по краям.
На зрение приходится три четверти нашей сенсорной информации и примерно 60% нашего серого вещества. Конечно, большая часть этих 60% является мультимодальной, в местах, где зрение совпадает со слуховой и тактильной информацией, но по крайней мере 20% суммы нашего соуса зависит от зрения. Итак, вы ожидаете появления системы искусственного зрения, которая конкурентам нашего мозга потребует около 20% общей вычислительной мощности нашего мозга, верно? Вот где все разваливается.
Вычислительная мощность мозга составляет примерно от 10¹⁶ до 10¹⁸ операций с плавающей запятой в секунду (на самом деле мы не выполняем операции с плавающей запятой в уме; это примерно эквивалент). Двадцать процентов этой вычислительной мощности составят 2 x 10¹⁵ FLOPS, минимум - при 24 кадрах в секунду, то есть примерно 10¹⁴ операций с плавающей запятой на изображение. В отличие от этого глубокие нейронные сети обходятся всего лишь 10¹⁰ FLOPS на изображение! 10,000-кратная эффективность вычислений. И они превзошли нас в точности распознавания изображений! : o
Как искусственные нейронные сети выполняют "ту же работу" с объемом вычислений в 10 000 раз меньше? Должна быть какая-то ошибка…
Скептик может возразить: «Эти искусственные сети смотрят на изображения шириной всего 300 пикселей, считывающие менее 2,2 МБ на изображение, или 52 МБ в секунду. Нашему мозгу требуется в 10 000 раз больше вычислений, потому что наши глаза видят в 10 000 раз больше ». (Это будет примерно 520 ГБ в секунду. ) Большие изображения высокой четкости в наших глазах требуют большего количества нейронов. Итак, больше обработки.
Ой. Наилучшая оценка пропускной способности глаза составляет всего около 10 Мбайт в секунду. Это меньше, чем изображение размером 300x300 пикселей, обновляющееся со скоростью 24 кадра в секунду! Скептик может сказать: Возможно, мы извлекаем в 10 000 раз больше информации из каждого изображения, но я на это не верю. По крайней мере, для распознавания изображений компьютеры в 10 000 раз эффективнее нас с точки зрения вычислений. А зрение - это 20% нашего мозга! А что насчет остальных? А как это возможно?
Человеческий мозг устроен так, чтобы его можно было урезать: одни нейроны умирают из-за неиспользования, другие умирают из-за травм или стресса. И воспоминания хранятся в распределенном представлении; обучение растет по многим синапсам, которые запускаются параллельно. Компьютеры не волшебным образом обнаруживают эффективность в 10 000 раз; люди просто созданы, чтобы быть лишними. Так безопаснее.
Что еще более важно, наш мозг использует мягкие синапсы для имитации таких вещей, как логика и арифметика. Сложение двух маленьких чисел требует активности части мозга, в то время как компьютер может достичь результата, используя горстку транзисторов в миллионной части времени. Когда искусственный интеллект должен выполнять арифметические операции, бинарный процессор может взять верх!
Арифметика - это лишь часть нашего мозга, но гиппокамп играет важную роль. Наш мозг должен кодировать воспоминания, используя только синаптическую чувствительность, что требует временной «перестройки» рядов нейронов. Тем не менее, многие воспоминания машины, которые уже сжаты до вектора активаций в скрытом пространстве, могут быть выгружены в цифровое хранилище. Если ИИ наделяет стандартный микропроцессор компьютерными функциями, он может обойтись без нескольких ложек в чашу для мозга.
И мы не наелись! Кто знает, сколько вам нужно прожить, пока в вашем мозгу не закончится свободное место? 20-летние, несмотря на всю свою умственную ловкость, по мере старения все еще могут уместить больше информации и немного мудрости; в мозгу должно быть много неиспользованных возможностей. Тем не менее, мы не видим «темных пятен» в детском мозгу, где «ждут все свободные мощности». Наш мозг имеет распределенную память, поэтому запасная память также распределяется. Подобно накоплению блоков тетриса, дополнительные воспоминания заполняют емкость неравномерно, оставляя пустоты странной формы. Таким образом, их деятельность подобна удару молнии, заходящему во множество тупиков, которые оказались несущественными для основной деятельности. Наши мозги разбросаны.
(Кроме того - по мере того, как мы узнаем, мы можем истощить емкость в одном регионе, в то время как другой ослабевает. Отшельнические части нашего мозга просто умирают, теряя все возможности. Это еще одна причина иметь много дополнительных!)
Итак, мозги избыточны и разбросаны, что теперь?
Вернемся к исходной проблеме: машинному интеллекту требуется в тысячи раз больше данных, в тысячу раз больше вычислительной мощности и в тридцать тысяч раз больше энергии. чем мозги. Тем не менее, наш мозг тратит около 20% своих усилий на основные компоненты зрения, в то время как машины воспроизводят производительность человеческого уровня, используя в десять тысяч раз меньше вычислений. Если мозг в 10 000 раз менее эффективен с точки зрения вычислений в целом, то даже маленький суперкомпьютер мог бы быстро запустить интеллект в масштабе мозга!
Такой нейронной сети все равно потребуется 100 лет, чтобы изучить контент за один человеческий год при нынешней эффективности данных. Однако этот недостаток данных уменьшился на порядки всего за несколько лет. Архитектура «Смесь экспертов / капсула» может поддерживать виды абстракций, которые позволяют обучаться за несколько шагов; мы только начали тестировать эти архитектуры. Таким образом, существующего суперкомпьютера уже может быть достаточно для управления машинным интеллектом в масштабе мозга.
Затраты энергии на машинный интеллект по-прежнему звучат плохо. (В 30 000 раз больше, чем у людей!) Тем не менее, это того стоит. Рассмотрим случай суперкомпьютера, работающего с нейронной сетью, в два возможностей человеческого мозга. Для этого потребуется более 60 кВт мощности. И это может ускорить обнаружение улучшений на миллиард долларов и миллион жизней. 60кВт - это дома и офисы 25 семей. Сверхчеловеческий интеллект по цене освещения торгового центра. Мы справимся с этим.
Между современными технологиями и сверхразумом нет разрушительной пропасти. AI просто ждет своего рождения.
Эта история опубликована в The Startup, крупнейшем предпринимательском издании Medium, за которым следят более 275 057 человек.
Подпишитесь, чтобы получать наши главные новости здесь.
