Краткий рассказ о машинном обучении, климатическом кризисе и переменах
День, когда мы обнаружили, что наши модели машинного обучения ошибочны, стал днем, когда Земля начала загораться и не прекращалась.
В течение многих лет мы боролись с лесными пожарами каждый сентябрь и октябрь. В один год они распространились по деревням в предгорьях. Затем города оказались под угрозой. В следующий раз пожары перекинулись на города. Наконец, он был повсюду, и у нас не было надежды его контролировать.
«Пора сделать перерыв», — сказал мой умный помощник. Он был разработан, чтобы сделать для меня правильный выбор: долгая здоровая жизнь, достигнутая благодаря управлению стрессом и умным прогнозам.
Наш офис располагался на холме с видом на залив. Со своих рабочих мест мы могли наблюдать, как парусники танцуют в сверкающей воде через безупречные окна от пола до потолка; теперь мы просто видели бесконечные пожарные корабли и самолеты. Наши рабочие станции были одними из самых мощных в мире, они были оснащены лучшими алгоритмами машинного обучения и программным обеспечением для обработки: гигантские искусственные мозги в нашем распоряжении. Мы разработали сложные модели, которые предсказывали погоду, воздушные потоки и изменения растительности с невероятной точностью. Но как бы мы ни старались, мы не смогли заставить наши целостные модели изменения климата работать идеально.
Наш офис знал, когда мы были голодны, и мог предсказать, что мы хотели съесть. Пока я просматривал последние результаты моделирования, робот принес сэндвич с сыром для доктора Финча. Она взяла его, не прерывая зрительного контакта с экраном.
Доктор Финч был самым умным человеком, которого я когда-либо встречал. Тихая, консервативная женщина, она была одним из самых продвинутых умов в машинном обучении. Каждый день она просматривала измерения в реальном времени с наших датчиков по всему миру; каждый день она бормотала себе под нос, когда они не совпадали. Сегодня она бормотала больше, чем обычно.
Сколько бы данных мы не вводили в модель, как бы мы ни совершенствовали наши алгоритмы, они не соответствовали требованиям. В вакууме они работали отлично, но как только учитывались социальные приливы и отливы, они разваливались. Каждый день.
Но если доктор Финч не мог понять, как предсказать модель, никто не мог.
Сегодня она казалась еще тише, чем обычно. «Самое смешное, — сказала она мне между кусочками бутерброда, почти шепотом, — если вы посмотрите на моделей, они, кажется, никогда не предполагают радикальных изменений. Это всегда постепенно. Каждый раз постепенные улучшения опережают революционные преобразования. Это просто кажется фактом жизни».
В офисе увидели, что у нас слишком жарко, и снизили температуру на градус-два. Это было бы незаметно, если бы не было явно удобнее.
Ни одна целостная модель никогда не предсказывала положительный результат радикальных внезапных изменений. Сами по себе модели не давали социального подтекста, но мы предположили, что это произошло потому, что в целом массовое население плохо адаптировалось к революционным изменениям. Напротив, постепенные изменения позволили населению привыкнуть к очень небольшим корректировкам того, как они уже жили. Небольшие изменения были более приятными.
Это апеллировало к существующим предубеждениям многих людей, и о результатах нашего моделирования было написано бесчисленное количество книг. Регулярные небольшие изменения со временем могут изменить мир.
Доктор Финч выглянул наружу в сторону дыма и огня. В окно увидел, что она щурится и немного потускнел. — Но что, если модели все-таки ошибаются, — сказала она тихим голосом. «Если модели неверны, решения тоже неверны».
— Но мы запускали их снова и снова, — сказал я. «Мы изменили алгоритмы. Сделал доработки. Я доверяю вашей работе, и мы это проверили. Модели вообще не кажутся сломанными по своей сути».
«Возможно, не алгоритмы», — сказал доктор Финч. «Но алгоритмы не обязательно должны быть неверными, чтобы модель была неправильной. И правда в том, что прогнозы не совпадают».
Она посмотрела мне прямо в глаза, в кои-то веки уязвимая. — Думаю, я совершил ужасную ошибку.
Она объяснила, что исходные данные были неверными. Любая система машинного обучения была хороша ровно настолько, насколько хороши данные, на которых она была основана: она ощущалась как волшебство, но основывалась на тысячах реальных измерений, прогнозов и уточнений.
А данные о том, как общество может измениться, были искажены более века.
Каждый раз, когда страна продвигалась к социальным реформам, которые делали ее общество более равным, другое правительство налетало и саботировало ее или создавало свое собственное контрдвижение. В современную эпоху никогда не было настоящей революции; каждый был подписан или подорван. Не было никаких возможных данных, на которых могла бы основываться система машинного обучения, и, следовательно, нельзя было делать никаких прогнозов. И те же самые силы, которые стремились влиять на общество с целью получения прибыли, выиграют от наших моделей, основывающих свои прогнозы на том же влиянии.
Сложное программное обеспечение, которое мы использовали для предсказания будущего человечества, было просто самосбывающимся пророчеством.
После того, как она объяснила наше затруднительное положение, мы молча сидели в офисе, наблюдая за бушующим снаружи пожаром. В офисе наблюдали за нами и вносили небольшие изменения в температуру, яркость, внутренний поток воздуха.
"Что теперь?" — спросил я через некоторое время.
«Нет данных», — сказала она. «Мы можем создавать климатические модели, но не социальные. Не совсем. Это потребует прыжка веры».
Я посмотрел на нее.
«Нам придется угадывать», — пояснила она. «И есть одна вещь, которая, как мы знаем, не сработает».
— Небольшие постепенные изменения, — сказал я.
"Точно." Тихая, сдержанная женщина вздохнула. «Революционные изменения — это все, что у нас осталось». Она встала из-за стола и снова посмотрела на огонь.
— С кем мы говорим?
— Никто, — сказала она, выпрямляясь. Ее стол поднялся ей навстречу. «Мы не можем спрашивать разрешения. Единственный способ, которым это работает, — заставить это произойти».
"Как?"
Она слегка улыбнулась; озорно, даже. «Мы живем в мире, где данные — это новая нефть, — сказала она, — где каждая система принимает новые решения на основе результатов всех предшествующих решений. Где к системам машинного обучения относятся как к беспристрастным богам, даже если они увековечивают предубеждения прошлого. Если мы признаем, что живем в таком мире, есть только один способ добиться реальных изменений».
Я посмотрел на нее и увидел трансформацию: ее побежденное выражение сменилось новой целью.
«Измените данные, измените мир», — просто сказала она.
Я медленно кивнул, и она кивнула в ответ.
«Мы должны сделать все возможное, чтобы выбраться из этого беспорядка», — сказала она. «Изменить все. Принимайте новые решения. Боритесь за наше выживание».
И мы сделали.
День, когда мы обнаружили, что наши модели машинного обучения ошибочны, стал днем, когда Земля начала загораться и не прекращалась. Но огонь был фигуративным, а мы были ожогом.
