Чем больше я узнаю о разработке беспилотных автомобилей Tesla, тем больше меня беспокоит этика работы в качестве разработчика программного обеспечения для автопилота Tesla. Позволь мне объяснить.
Выгодное предложение Tesla
Tesla продает людям беспилотный автомобиль уровня 1 или 2 качества прототипа. Но он также собирает деньги заранее, обещая, что его автомобили станут способными к третьему уровню благодаря будущему обновлению программного обеспечения. И что возможности третьего уровня будут как минимум вдвое безопаснее, чем водитель-человек. Конечно, полностью беспилотные автомобили на самом деле еще не легальны. Таким образом, это необходимо будет решить регулирующим органам в каждой юрисдикции (но Илон Маск уверен, что они решатся, как только он продемонстрирует, насколько безопаснее автопилот, чем позволить людям управлять автомобилем).
Это много предположений
Я считаю, что Tesla делает заявления перед публикой и клиентами, граничащие с обманом.
Вот список:
- В ближайшие несколько лет Tesla может создать безопасный беспилотный автомобиль третьего уровня.
- Автопилот будет безопаснее людей-водителей
- Tesla сможет доказать, что автопилот безопаснее людей-водителей.
- Текущее оборудование будет полностью поддерживать возможности самостоятельного вождения.
- Регуляторы по всей Северной Америке позволят использовать автопилот на своих дорогах без каких-либо модификаций.
- На Tesla не будут предъявлять иски из-за качества их продукции
- Tesla не будет принуждена к отзыву компании или банкротству по другим причинам.
Давайте пройдемся по этим пунктам.
1. Может ли Tesla создать безопасный беспилотный автомобиль третьего уровня в ближайшие несколько лет?
Этот аргумент состоит из нескольких частей.
а) Программное обеспечение автопилота Tesla должно быть совершенным
Tesla не может рассчитывать на то, что спасенные ею жизни засчитываются в счет жизней, которые уносят ее беспилотные автомобили. В ту минуту, когда беспилотный автомобиль совершит серьезную ошибку или подозревается в совершении серьезной ошибки, начнутся судебные иски и будет много плохой огласки. Что произойдет, если беспилотный автомобиль убьет кучу детей?
Давай займемся математикой. По некоторым оценкам, беспилотные автомобили будут содержать около 200 миллионов строк кода. А в среднем по отрасли 15–50 дефектов / KLOC. Таким образом, если программное обеспечение для самоуправляемых автомобилей соответствует среднему по отрасли уровню дефектов, мы можем ожидать, что программное обеспечение в каждом автомобиле будет содержать от 3 до 10 миллионов ошибок. Мы как общество согласны с этим?
б) Достижение требований к полностью автономному автомобилю практически невозможно.
Я не могу понять, как Tesla в ближайшее время сможет добиться от своего программного обеспечения машинного обучения точности, необходимой для полностью автономного автомобиля. У нас есть машинное обучение во многих продуктах с тоннами данных, которые представляют собой более простые области, чем автомобили с автономным управлением (набор текста, распознавание голоса, классификация фотографий, языковой перевод и т. Д.), И они постоянно совершают ошибки. В программном обеспечении для самостоятельного вождения автомобилей вам необходимо объединить несколько систем глубокого обучения. И каждая его часть должна прийти к правильному выводу за какую-то крошечную долю секунды, тогда система должна принять правильное решение и быть способной его выполнить.
Все это должно происходить с любой вычислительной мощностью, доступной в автомобиле. И он должен быть в состоянии справиться с перепадами температур, аппаратными сбоями, перебоями бит из-за космических лучей, брызгами грязи на датчики и камеры, ошибками программного обеспечения, механическими проблемами, проблемами сети, кибератаками, новыми дорожными условиями, агрессивными и непредсказуемыми людьми, дикой природой. и непредсказуемое поведение при взаимодействии нескольких беспилотных автомобилей (больше рисков здесь). К тому же он должен работать в течение всего срока службы машины. Учитывая все эти требования, вы ожидаете, что я поверю, что эти системы будут делать все правильно в 99,9999999% случаев?
в) Автомобили Tesla больше похожи на прототипы, чем на серийные качественные автомобили.
Строить беспилотный автомобиль без LiDAR - это просто безумие. Там. Я сказал это. Я знаю, что Илон Маск думает, что сможет обойти это, но я могу почти гарантировать вам, что его машины были бы в большей безопасности, если бы в них также был LiDAR. Для сравнения: в автомобилях Waymo установлено 3 вида LiDAR, 5 радарных датчиков и 8 камер. Какой машине вы бы предпочли доверить жизнь своим детям?
Но есть и другие проблемы. GM и Waymo встраивают избыточные системы в свои автомобили, чтобы они могли справиться с условиями отказа, не убивая вас. Где резервные системы Tesla?
Случай непреднамеренного ускорения Toyota должен быть обязательным к прочтению для всех, кто разрабатывает или рассматривает возможность покупки беспилотного автомобиля. Вот отличное видео (слайды) того, что произошло и почему для критически важных систем безопасности требуются исключительно высококачественные инженерные процессы и резервирование.
г) Нельзя терять безопасность
Когда вы разрабатываете систему, которая может привести к смерти в случае неисправности, вы строите систему, критически важную для безопасности. Это совсем другая игра с мячом, чем создание приложений для смартфонов. Вам необходимо следовать процессу, подобному ISO 26262. Насколько я понимаю, системы глубокого обучения не могут быть сертифицированы по ISO 26262, потому что мы не можем знать, что они будут делать в каждом случае. Их нельзя подвергать формальным методам. Они также не могут быть проверены исчерпывающе. И это большая проблема.
Сравнение с авиационной отраслью
Если вы хотите увидеть примеры серьезного отношения к системам, критически важным для безопасности полетов, посмотрите на авиационную промышленность. Глубокое обучение запрещено. Только непревзойденный уровень инженерных усилий и гарантии качества.
Например, у Airbus A330 есть пятикратное резервирование для своей системы управления полетом!
Особенности:
- система работает на пяти компьютерах одновременно, и для управления самолетом нужен только один.
- у каждого компьютера есть два процессора (известные как каналы), которые выполняют одни и те же вычисления, а затем сравнивают свои результаты.
- используются разные процессоры, чтобы снизить вероятность того, что производственный или конструктивный дефект может привести к ошибке
- три компьютера составляют основную систему, а два компьютера доступны в качестве резервных с ограниченной функциональностью
- система содержит четыре версии ПО управления полетом, программируемые независимыми командами с использованием разных языков программирования.
- все входы датчиков резервированы
- все приводы дублированы
Это серьезное обязательство по безопасности (видео, слайды). Кстати, описанная мною система А330 была представлена в 1992 году! Если вы посмотрите, что делала Airbus более 25 лет назад, это заставит вас задуматься о том, есть ли у Tesla какие-либо системы, критически важные для безопасности зданий.
2. Автопилот будет безопаснее, чем водители-люди.
Авиакомпания давно обнаружила, что технология автопилота - это еще не все:
- Летные навыки пилотов ржавеют, когда они используют автопилот.
- И у них возникают проблемы с восстановлением ситуационной осведомленности, когда автопилот неожиданно отключается.
Tesla столкнется с обеими этими проблемами.
Авиакатастрофа Air France 447
Автопилот Air France 447 неожиданно отключился после получения неверного показания скорости воздуха от датчика. И три хорошо обученных пилота, каждый из которых имеет тысячи часов профессионального опыта и обширную подготовку на этом конкретном самолете, не могли понять, что происходит, проигнорировали предупреждения со своих компьютеров и разбили самолет, убито более 200 человек.
Это не сулит ничего хорошего среднестатистическому владельцу автомобиля, который ни разу не прошел обучение или учился с тех пор, как впервые получил права.
Между прочим, авиакатастрофа Air France - не единичный инцидент. Пилоты обычно не могут понять ситуацию после того, как их системы автопилота внезапно отключаются.
Подумайте, что произойдет с вашими навыками ночного вождения или проезда по шоссе через несколько лет после того, как вы приобретете автомобиль, который обычно выполнял эти задачи за вас. Это парадокс автоматизации: чем больше вы ее используете, тем хуже вы будете работать, если она неожиданно выйдет из строя.
Кстати, экипаж Air France не смог получить достаточную ситуационную осведомленность за три минуты, которые им пришлось отреагировать на отключение автопилота, чтобы спасти свои жизни. Какая машина когда-нибудь поймет, что не справится с ситуацией за три минуты до этого? Никто. Вы можете провести в машине всего пару секунд. Подождите минутку.
Пропуск уровня 3 автономии
Именно по этой причине несколько автомобильных компаний решили вообще отказаться от автономии третьего уровня. Я считаю, что Google был первым, кто публично отказался от идеи автономии третьего уровня, а затем последовали и другие.
3. Tesla сможет доказать, что автопилот безопаснее людей-водителей.
Будет чрезвычайно сложно доказать, что ваш беспилотный автомобиль безопаснее людей. Я не собираюсь тащить вас по всей статистике. Позвольте мне просто сослаться на статью, которая хорошо описывает масштаб проблемы. Я затрону здесь лишь несколько ключевых моментов.
Требуется огромный размер выборки
ДТП со смертельным исходом случаются очень редко (примерно 1 на каждые 94 миллиона миль в США), поэтому вам понадобится огромная выборка ДТП со смертельным исходом на автопилоте Tesla, чтобы даже быть уверенным, что ваш средний уровень смертности статистически значим (30 - приблизительное практическое правило). . Это много смертей и много вождения, прежде чем вы сможете заявить, что ваш беспилотный автомобиль статистически безопаснее, чем водители-люди.
Обновления или изменения сбрасывают часы
Каждый раз, когда вы обновляете программное обеспечение или оборудование, часы сбрасываются на ноль, потому что это, по сути, новый продукт.
Вы должны подсчитать чистый результат автопилота
Есть три косвенных вида смерти, которые вам нужно учитывать при учете беспилотных автомобилей.
- Смерти, которые происходят в результате потери навыков вождения людьми из-за того, что они стали полагаться на автоматизацию.
- Любые смертельные случаи, вызванные путаницей с автопилотом и переключением передач. Люди действительно плохо берут под свой контроль автомобили, когда автоматика выходит из строя. Но будет еще хуже, если учесть, что беспилотные автомобили разных компаний могут по-разному справляться с одной и той же ситуацией или что один и тот же автомобиль может вести себя по-разному после обновления программного обеспечения. Я предсказываю, что эти проблемы приведут ко многим, многим смертельным случаям.
- Смертельные случаи из-за беспилотных автомобилей, совершающих поступки, о которых люди даже не подозревают. Существует множество сценариев, когда беспилотный автомобиль может совершить то, чего не ожидал человек, и вызвать аварию у третьей стороны.
Другими словами, вам нужен общий результат, а не просто смерть владельцев Tesla, предотвращенная автопилотом.
Для определения безопасности автопилота требуется тщательное исследование
Вам нужно провести научное исследование, чтобы понять, безопаснее ли автопилот Tesla, чем водители-люди. Вы должны взять всех людей, которые хотят купить Tesla с автопилотом, продать им машину, а затем случайным образом назначить им автопилот или нет и подождать, пока не произойдет как минимум 30 аварий в каждой группе, прежде чем вы сможете заявить о безопасности. .
Я сильно упрощаю процесс, но в этом его суть. Вы не можете просто посмотреть на общую смертность или аварийность для всех транспортных средств и сравнить их со скоростью для автомобилей Tesla - это сравнение яблок с апельсинами.
Итак, в заключение, автопроизводители каким-то образом должны будут получить разрешение на проведение огромных экспериментов на жизнь и смерть на дорогах общего пользования, чтобы собрать данные, чтобы доказать, что беспилотные автомобили достаточно безопасны для использования на дорогах общего пользования. И каждое изменение оборудования или программного обеспечения сбрасывает часы. Я единственный, кто видит в этом проблему?
4. Текущее оборудование будет полностью поддерживать возможности самостоятельного вождения.
Учитывая, что мы даже не знаем, что нужно для создания полностью автономного автомобиля, у меня есть сомнения.
Позвольте мне рассказать вам небольшую историю. Я купил программное обеспечение для распознавания голоса в 1990-х, потому что я много писал, и компания, создавшая программное обеспечение, пообещала мне, что оно будет работать и сэкономит мне кучу времени. Угадай, что? Это было настолько неточно, что я почти сразу перестал им пользоваться. Тем не менее, каждая версия этого программного обеспечения обещала потенциальным пользователям, что успехи в вычислительной мощности и улучшенные алгоритмы решили проблемы. Ложь. Фактически, прошло 20 лет, и мой голос теперь обрабатывается в облаке с помощью невообразимого количества вычислительных мощностей по сравнению с тем, что у меня было на моем настольном компьютере 1990-х годов, а распознавание голоса по-прежнему остается незамеченным.
Итак, каков шанс, что та же картина проявится и в беспилотных автомобилях? Что, если потребуется в 100, 1000 или 10 000 раз больше вычислительной мощности, чтобы перейти от текущего автопилота Tesla к безопасному полностью автономному автомобилю на любой дороге в большинстве условий (уровень способность, на которую намекает Илон Маск)?
5. Регулирующие органы по всей Северной Америке разрешат использовать автопилот на своих дорогах.
Это серьезное предположение, если вы уже принимаете депозиты для полной автономии. Что, если одобрения не будет в течение десяти лет? Сможет ли Тесла пережить это? Но есть и другие проблемы.
Различные регулирующие органы могут устанавливать разные ограничения на уровень автономии, который они разрешают на своих дорогах, и на условия, в которых эта автономия может использоваться. Можете ли вы представить себе хаос и неразбериху для всех, если бы беспилотные автомобили имели совершенно разные возможности в зависимости от юрисдикции, в которой они оказались?
Регулирующие органы также могут потребовать, чтобы беспилотные автомобили соответствовали определенным требованиям, прежде чем их можно будет использовать. Что, если одним из этих требований является LiDAR или соблюдение ISO 26262 или отсутствие единичных точек отказа? Tesla не может претендовать ни на что из этого.
Наконец, меня интересует возможность того, что регулирующий орган сделает автопилот незаконным после особенно ужасного инцидента или серии инцидентов. Что произойдет, если машина с включенным автопилотом врежется в группу дошкольников?
6. Tesla не будет привлечена к ответственности за качество своей продукции.
Конечно, Тесла подадут в суд. На него уже в суд.
Toyota выплатила более миллиарда долларов в связи с непреднамеренным ускорением, о котором я упоминал ранее. И хотя я не эксперт в области права, я подозреваю, что Tesla еще более уязвима, чем Toyota. Я ожидаю, что адвокаты истца в крупном коллективном иске легко разорвут Tesla на части по всем причинам, которые я упоминал в этом посте. Сколько судебных процессов может позволить себе Tesla?
7. Tesla не будет принуждена к отзыву компании или банкротству по другим причинам.
Массовые отзывы кажутся предсказуемыми. Может ли текущее оборудование поддерживать полную автономность? Потребуется ли регуляторным органам LiDAR? Потребуют ли регуляторы Tesla для установки дополнительных систем с резервированием? Но даже если все это работает в пользу Tesla, просто подумайте о новизне и сложности беспилотных автомобилей. Не предвидятся ли большие отзывы?
Банкротство по другим причинам - еще одна возможность, поскольку Tesla - это самая короткая акция в США. Сможет ли Tesla решить проблемы с производством модели 3? Что, если Tesla не сможет достичь полной автономии в ближайшие несколько лет? Допускают ли регуляторы полностью автономные автомобили на дороге? Что, если GM, Ford, Waymo или другая компания получат одобрение на свои беспилотные автомобили раньше Tesla? Захотят ли люди вернуть свои депозиты, чтобы сразу же купить беспилотный автомобиль? Что, если следить за автопилотом сложнее и утомительно, чем просто управлять автомобилем?
Собираем все вместе
Я хотел бы вернуться к своему первоначальному вопросу: этично ли работать с программным обеспечением автопилота Tesla? Вот несколько цитат из Этического кодекса программной инженерии.
1.03. Одобряйте программное обеспечение только в том случае, если у них есть веские основания полагать, что оно безопасно, соответствует спецификациям, проходит соответствующие тесты и не снижает качество жизни, не снижает конфиденциальность и не наносит вреда окружающей среде . Конечный эффект от работы должен быть на благо общества.
1.04. Сообщать соответствующим лицам или органам о любой фактической или потенциальной опасности для пользователя, общественности или окружающей среды, которые они обоснованно полагают связанными с программным обеспечением или связанными документами.
1.06. Будьте честны и избегайте обмана во всех заявлениях , особенно публичных, относительно программного обеспечения или связанных документов, методов и инструментов.
2.01. Предоставлять услуги в областях своей компетенции , честно и открыто заявляя о любых ограничениях своего опыта и образования.
3.10. Обеспечьте надлежащее тестирование, отладку и проверку программного обеспечения и связанных документов, над которыми они работают.
6.07. Точно указывайте характеристики программного обеспечения , над которым они работают, избегая не только ложных заявлений, но и заявлений, которые можно обоснованно считать спекулятивными, бессмысленными, вводящими в заблуждение, или сомнительно.
6.10. Избегайте ассоциаций с предприятиями и организациями, конфликтующими с этим кодом .
[Все внимание уделяется мне.]
Конечно, я не знаю из первых рук, что в Tesla происходит что-то неэтичное. Но предположим, что даже половина из того, что я здесь представил, верна. Этично ли работать с программой автопилота Tesla?
Кадровые проблемы
Tesla несколько раз сообщала об уходе ключевых членов команды автопилотов. См. Здесь, здесь и здесь. Люди покидают команду автопилотов по этическим соображениям?
И вот этот твит от Илона Маска:
Мы ищем опытных программистов. Опыт работы с автомобилями не требуется. Включите образец кода или ссылку на свою работу.
Если эти инженеры не имеют опыта работы с автомобилями или аэрокосмической отраслью, рискуют ли они нарушить принцип 2.01 (предоставление услуг в областях компетенции…)?
Заключительные аргументы
Меня серьезно беспокоит то, что происходит в Tesla. Создать безопасный беспилотный автомобиль будет невероятно сложно. И никому нельзя позволять срезать углы ради более быстрого выхода на рынок или получения большей прибыли. Сама Tesla назвала свои выпуски программного обеспечения бета-тестами. Я не знаю, как можно провести публичное бета-тестирование с неподготовленными клиентами в качестве водителей с чистой совестью. Как минимум я хотел бы видеть беспилотные автомобили, проверенные таким образом.
Авиационная промышленность никогда бы не разработала новую технологию таким образом
Как вы думаете, могут ли Boeing или Airbus пройти бета-тестирование системы автопилота с глубоким обучением на самолетах, перевозящих пассажиров? Скорее всего, не. А если бы они заявили, что это будет вдвое безопаснее, чем их нынешние системы автопилота? Не имеющий отношения. Можете ли вы представить себе огненную бурю, если бы пассажирский самолет разбился и убил всех на борту из-за неисправности бета-программного обеспечения? Итак, как мы вообще говорим об этом с автомобилями?
Неужели подход Илона Маска к беспилотным автомобилям обречен на провал?
Ранее в этом месяце Илон Маск написал в Твиттере в ответ на проблемы с производственной линией Model 3:
Да, чрезмерная автоматизация в Tesla была ошибкой. Если быть точным, моя ошибка. Людей недооценивают.
Я поднимаю этот вопрос по двум причинам. Во-первых, Илон Маск заработал репутацию самого умного человека практически в любой комнате. Но он делает ошибки. И мы не должны слепо доверять его мнению. Во-вторых, мне интересно, будет ли он вынужден признать то же самое в системе автопилота Tesla в ближайшие пару лет. Прочтите этот твит еще раз - он сработает отлично.
Суть
Я сторонник новых технологий и повышения безопасности дорог, но подход Tesla кажется безрассудным и неэтичным. Если нужно, называйте меня палкой в грязи, но мне нужно программное обеспечение для автопилота Tesla, которое разработано, спроектировано, построено, протестировано, проверено и поддерживается как современное программное обеспечение для авиалайнеров Airbus, а не глючный прототип приложения для смартфона, созданного так быстро насколько это возможно, теми разработчиками программного обеспечения, которые Илон мог найти в Твиттере.
Согласен или не согласен. Я хотел бы услышать ваши мысли.
Первоначально опубликовано на сайте smallbusinessprogramming.com 30 апреля 2018 г.
