Что способствует успеху Tesla, и что можно сделать
В то время как OpenAI славится своим успехом в НЛП, а DeepMind — RL и принятием решений, Tesla, безусловно, является одной из самых влиятельных компаний в области компьютерного зрения. Даже если вы не специалист по компьютерному зрению, вы можете многому научиться у Tesla об искусственном интеллекте промышленного уровня.
Команда искусственного интеллекта Tesla не публикует сообщения в блогах, как Uber или Airbnb, поэтому посторонним довольно сложно понять, что они сделали и как добились того, что имеют сегодня. Тем не менее, День Tesla AI 2021 раскрыл методы и уроки, из которых могут извлечь уроки все разделители ИИ и компании.
Вот уроки.
И. Бизнес
1. Креативное (повторное) использование передовых технологий
Tesla анонсировала свой новый продукт: робота-гуманоида под названием Tesla Bot. В то время как транспортные средства и роботы могут выглядеть совершенно по-разному, беспилотные автомобили и роботы с искусственным интеллектом на самом деле имеют много общих строительных блоков. Например, как для автомобилей Tesla, так и для роботов Tesla требуются датчики, аккумуляторы, вычисления в реальном времени и анализ полученных данных, а также возможность мгновенного принятия решений. Таким образом, микросхемы искусственного интеллекта и аппаратное обеспечение, созданные Tesla, могут использоваться в обоих продуктах.
Что касается программного обеспечения и алгоритмов, двум продуктам Tesla нужна система технического зрения и система планирования. Таким образом, автомобильная команда Tesla может поделиться кодовой базой программного обеспечения с командой Tesla Bot. Эффект масштаба еще больше снижает средние затраты на разработку и потенциально делает Tesla более конкурентоспособной на рынке.
Еще одним преимуществом для команды Tesla AI является то, что данные, полученные от Tesla Bot, также можно использовать для обучения беспилотных автомобилей Tesla.
На самом деле есть и другие примеры повторного использования собственных передовых технологий. Одним из них является reCAPTCHA. Луис фон Ан первым изобрел CAPTCHA, чтобы люди могли идентифицировать себя, прося пользователей вводить буквы, отображаемые на экране. Позже он поставил перед собой задачу сделать CAPTCHA более полезной и, наконец, стал партнером NY Times и изобрел reCAPTCHA, систему, которая разбивает длинные предложения в книге и просит пользователей вводить то, что они видят. Всего лишь небольшой корректировки достаточно, чтобы помочь оцифровать миллионы книг за несколько дней, на что могли уйти годы.
Если ваша компания использует уникальную технологию, помните о характере этой технологии и подумайте, какие люди могут получить пользу от вашей технологии. Выделите некоторые умственные ресурсы, чтобы подумать об этом, и вы найдете свое следующее направление бизнеса.
II. Улучшение и прогресс
2. Итеративный прогресс
В ходе сессии вопросов и ответов Илон Маск сказал:
В целом инновация – это количество итераций и средний прогресс между ними. И поэтому, если вы можете сократить время между итерациями, скорость улучшения будет намного выше.
Поэтому, если модель тренируется пару дней, а не пару часов, это очень важно.
Что касается инженеров машинного обучения и специалистов по обработке данных, держу пари, вы согласитесь со мной, что он не может быть более прав. Специалисты по машинному обучению тратили свое время, в основном, не на моделирование машинного обучения, а на такие вещи, как визуализация вещей, анализ ошибок, очистка данных, изучение данных, получение дополнительных данных и так далее. Без правильных инструментов разработчикам требуется гораздо больше времени, чтобы добиться прогресса. Другой распространенный сценарий заключается в том, что несколько разработчиков в одной команде или несколько команд в одной компании создают аналогичные инструменты независимо, чтобы облегчить себе жизнь.
Это объясняет, почему у Tesla есть инструментальная группа, и многие вещи она производит сама. И это следующий урок.
3. Специально разработанная система лучше общей
Тесла понимает, что GPU — это, как правило, встроенное оборудование, и массивные вычисления могут быть выполнены намного быстрее с помощью специально созданных чипов. Вот почему Tesla создала свои собственные чипы ИИ: Dojo.
Помимо чипов, Tesla также создала собственную вычислительную инфраструктуру ИИ, которая проводит 1 миллион экспериментов в неделю. Они также создали собственные инструменты отладки для визуализации результатов. Во время презентации Андрей Карпаты упомянул, что он считает инструмент управления метками данных критически важным, и они гордятся этим инструментом.
Если у вашей команды ограниченные ресурсы для создания собственного инструмента, присоединяйтесь к сообществу разработчиков ПО с открытым исходным кодом. Вы можете создать что-то, что соответствует вашим потребностям, поверх проекта с открытым исходным кодом. Если ваша проблема новая или у вас есть лучшее представление о том, как что-то делать, сделайте сложную часть разработки начального прототипа и напишите хорошую документацию, чтобы помочь людям, с которыми вы столкнулись с похожими проблемами.
4. Ошибки НЕИЗБЕЖНЫ. Учитесь у них.
Если вы проведете небольшое исследование биографии людей, стоящих на сцене, вы скоро обнаружите, что все они чрезвычайно умные люди, получившие докторскую степень, окончившие престижные университеты или совершившие что-то впечатляющее в карьере. прошлое.
Эти люди тоже ошибаются. Андрей Карпати поделился, что вначале они сотрудничали со сторонним поставщиком данных. Я думаю, они делают это, потому что хотят быстрее получать данные и снижать затраты. Однако вскоре они обнаружили, что работа со сторонними организациями по таким важным вопросам и обратная и обратная связь просто «не подходят». Затем они привезли этикетировочные машины к себе, и теперь у них более 1000 этикетировщиков.
Урок здесь заключается в том, что инновации и технологический прогресс, как всегда, являются процессом проб и ошибок. Ошибки являются частью этого. Если вы избегаете ошибок и вините в неудачах других, вы не учитесь и не добьетесь прогресса.
III. Практика ИИ
5. Нейронная сеть — это блок Lego.
Во время обмена вопросами и ответами Ашок Эллусвами рассматривал нейронные сети как просто блок в системе, который можно комбинировать с чем угодно. Он объяснил, что на самом деле вы можете внедрить поиск и оптимизацию в планирование сетевой архитектуры, или вы можете комбинировать блоки (модели) на основе физики и блоки нейронных сетей, чтобы создать гибридную систему.
Я думаю, что идея объединения не-нейросетевых моделей с нейронными сетями для обучения довольно интересна, и ее определенно стоит попробовать.
6. ГидраНетс
Идея HydraNet восходит к 2018 году, то есть уже давно в сообществе ИИ. Тем не менее, я думаю, что идея отличная и будет полезна во многих сценариях. Андрей объяснил, что HydraNet позволяет нейронной сети использовать общую архитектуру, разъединять задачи, и вы можете кэшировать промежуточные функции для экономии вычислений. .
7. Моделирование как решение проблемы недостаточности данных
Дисбаланс этикеток распространен повсеместно. Данные меньшинства очень трудно, если вообще возможно, получить. Однако для развертывания ИИ в реальном мире всегда важны крайние случаи, потому что это может привести к серьезным и нежелательным последствиям.
Моделирование — это один из методов аргументации данных для создания новых данных, но это легче сказать, чем сделать. В Tesla команда моделирования использовала такие методы, как трассировка лучей, для создания реалистичных видеоданных, которые я лично не мог сказать, верны они или нет на первый взгляд.
Я думаю, что этот метод действительно является секретным оружием Теслы, поскольку он делает задачу получения большого количества необычных данных чрезвычайно легкой. Теперь они могут генерировать видеоданные вроде пары, бегущей с собакой по шоссе, что маловероятно, но определенно возможно.
Кстати, что вы думаете об идее моделирование как услуга?
8. В 99,9% случаев вам не нужно машинное обучение
Аудитория спросила, использует ли Tesla машинное обучение в своем производственном дизайне или других инженерных процессах, и это то, что сказал Илон.
Я бы не стал комментировать цифру 99,9%, потому что это зависит от того, о чем вы говорите. Например, вам, конечно же, не нужно машинное обучение, чтобы узнать ваших клиентов с самыми высокими расходами. Все, что вам нужно, это просто алгоритм сортировки.
Тем не менее, я вижу, что это распространенная ошибка многих людей. Чтобы машинное обучение работало, вам необходимо выполнить ряд условий. Если нет, есть целая куча других инструментов, которые помогут вам решить ваши проблемы с наукой о данных. Например, генетические алгоритмы, математическое моделирование, алгоритмы планирования и так далее.
Когда у вас есть молоток, все выглядит как гвоздь.
9. Данные и вычисления
Ян Глоу, менеджер группы Autopilot Simulation, упомянул, что недавно была опубликована статья об улучшении фотореализма, в которой показаны последние достижения, но его команда может сделать гораздо больше, чем команда, опубликовавшая статью. Это потому, что у Теслы гораздо больше данных, вычислительной мощности и человеческих ресурсов.
Это просто еще один пример, показывающий, что данные и вычисления необходимы для глубокого обучения. Я думаю, что урок здесь заключается в том, что если вам нужно использовать глубокое обучение в производственной среде, потратьте время на то, чтобы подумать о том, как получить данные и эффективно и рационально использовать вычислительную мощность. Продолжайте делать это до тех пор, пока средняя стоимость получения и использования данных не станет незначительной.
Заключение
В то время как многие люди сосредоточились на деталях реализации моделей глубокого обучения, я думаю, что большие идеи, уроки и мыслительный процесс, стоящие за ними, одинаково ценны. Я надеюсь, что эта статья принесет вам что-то новое и поможет улучшить практику машинного обучения.
Ваше здоровье.
Если вам понравилась эта статья, пожалуйста, 👏 👏 😃. Ваша поддержка - моя самая большая мотивация💪.
