Кризис в нашем понимании вычислений:

Компьютеры теперь у всех в карманах, но большинство людей не осознают, что они делают. Вскоре компьютеры будут интегрированы в одежду людей и в их собственные тела. Но для большинства людей они остаются черным ящиком. Известный журналист Кевин Келли однажды заявил в Твиттере:

«Люди ошибочно полагают, что яйцо простое. Красивый корпус с гладкими закругленными углами. Нет кнопок. Но для простого нужна сложность».

Представлять себе компьютер в виде яйца — ужасная аналогия, хотя на первый взгляд она звучит убедительно. Мистер Келли — умный писатель со обоснованным мнением. Так что это делает его особенно хорошим кандидатом на развенчание — то, что мы можем назвать вектором поддержки на языке машинного обучения. Дело в том, что люди уже паникуют по поводу того, насколько непрозрачными стали компьютеры. Социальные сети, такие как Facebook и Twitter, ускорили принятие ужасных политических решений, и никто не имел ни малейшего представления о том, как найти правду среди фальшивых новостей, инсинуаций и изощренных манипулятивных сообщений.

С ростом мощности искусственного интеллекта (ИИ) эта непрозрачность вычислений достигает все более пугающих масштабов. Даже для технически грамотных людей анализ алгоритмов становится все более сложным, особенно с машинным обучением на основе данных. Как доказать сходимость и оптимальность алгоритма, который использует массу данных и кодирует их в многослойной нейронной сети? Когда эти нейронные сети используются для финансового трейдинга, оформления страховых полисов или оценки сотрудников, они проявляют сложные предубеждения, которые гораздо сложнее отладить, чем традиционные компьютерные программы. Но фундаментальной проблемой остается не ИИ, а наше собственное невежество. Как мы, как общество, можем прийти к политическим решениям об использовании ИИ, когда большинство людей совершенно ничего не смыслят в компьютерах?

Мы как общество не рассматриваем компьютерные программы и интерфейсы как диалоги на естественном языке и литературу, в которых может участвовать каждый человек.

У нас острый кризис в понимании компьютеров, но есть и огромные возможности. Компьютерные алгоритмы становятся все более опытными в понимании человеческого языка и интерпретации визуальных образов, как это делают люди. Благодаря этим достижениям границы между языками программирования и человеческими языками стираются. Появляются новые парадигмы компьютерного программирования, которые представляют компьютеры как партнеров, которые разговаривают с людьми и решают проблемы посредством взаимного диалога. Однако мы как общество до сих пор не рассматриваем компьютерные программы как диалоги на естественном языке, а литературу — способную на литературную красоту и эмоциональное содержание. Точно так же мы не рассматриваем литературу как вычислительный объект с гиперссылками между различными литературными отсылками (за исключением редких провидцев, таких как Тед Нельсон, которые видят ее именно так). Мы не используем компьютерные программы, чтобы разговаривать друг с другом или исследовать нашу внутреннюю психику. В той мере, в какой мы их используем, мы делаем это бессознательно. Яркой демонстрацией этого является провал семантического веба, который должен был обеспечить богатый контекстно-зависимый слой информации в сети, относящейся к пользователю. Вместо этого мы получили миллион ботов и куков, которые шпионят за пользователем без его ведома. Теперь, с появлением интернета вещей, этот сетевой шпионаж за пользователями проник и в предметы домашнего обихода. Основной причиной этой антиутопии является отсутствие человеческого общения между пользователями и компьютерами, способными кодировать вычислительные процедуры.

Наряду с призраком незнания ИИ существует риск технологической безработицы. Навыки большинства людей устаревают в экономике, управляемой ботами ИИ. Причина, по которой это происходит, заключается в том, что технологический прогресс в области вычислений и искусственного интеллекта полностью оторвался от человеческого образования. Таким образом, большинство людей неспособны участвовать в жизни общества, управляемого ИИ, не только в качестве экономических агентов, но и в качестве политических агентов. Это реальный риск ИИ — не для нашей экономики, а для нашей демократии.

Арья Праджня на санскрите означает цивилизованный разум с глубоким пониманием и уважением к экологии. Этот блог является частью серии статей о том, как использовать технологии для разумной жизни, вдохновленной индийской традицией санскритского языка и культуры.