краткий обзор
Если вы не обращали внимания, решения ИИ быстро улучшаются. Это немного похоже на закон Мура (который примерно гласит, что вычислительная мощность удваивается каждые 2 года), но применяется к ИИ.
(В этой статье будет много графиков, идущих «вверх и вправо» — самое время стать моделью машинного обучения.)
Машинное обучение и вычислительная мощность связаны. Для обучения больших моделей требуется чрезмерное количество вычислительной мощности, и только недавно мы получили достаточно вычислительной мощности при достаточно низких затратах, чтобы начать действительно увеличивать масштабы машинного обучения.
Учтите: неизвестно, сколько именно OpenAI потратила только на затраты на обучение (не говоря уже о затратах на разработку или сколько тренировочных прогонов они провели?) для разработки своей последней крупной генеративной модели GPT-3. предшественник chatGPT. Но разные источники вроде этого блога или этого приводят цифры в районе 4–10 миллионов долларов. По оценкам hyro.ai, в процессе обучения использовалось более 3x10²³ FLOP вычислительной мощности. Это что-то вроде 9000 лет всей вычислительной мощности человечества в 1970 году. Это не обязательно было бы невозможно 10 лет назад, но это было бы нелепо и, вероятно, чрезмерно дорого.
Какими будут размеры моделей через 10 лет? Во что упадет стоимость обучения?
Если вы помните, это похоже на шумиху вокруг CRISPR — раньше редактирование генов было ужасно дорогим, подверженным ошибкам и медленным. Теперь словами Stanford Magazine:
С CRISPR ученые могут создать короткий шаблон РНК всего за несколько дней, используя бесплатное программное обеспечение и стартовый набор ДНК, который стоит 65 долларов США плюс доставка.
Я хочу познакомить вас с двумя способами картирования растущей мощи нейронных сетей.
Во-первых: с начала 2000-х годов средний размер модели рос экспоненциально. То, что начиналось как несколько нейронов, неэффективно боровшихся с головокружительными простыми задачами, теперь превратилось в сети буквально с миллиардами нейронов. Размер сети — это только один из элементов возможностей машинного обучения, и сегодня многие исследователи занимаются повышением эффективности сетей (получая результаты с меньшим количеством нейронов), но общий рост сети в зависимости от количества узлов впечатляет:
Эксперты будут спорить о том, что это может означать, и должны ли мы вообще пытаться обучать модели с триллионом параметров, но факты таковы, что мы перешли от моделей со 100 миллионами параметров в 2018 году к возможному ближайшему будущему с моделью, которая в тысячу раз больше. . Затраты на вычисления продолжают падать (примерно) вместе с объемом хранилища, и ничто не препятствует обучению все более крупных моделей с течением времени.
Мы собираемся выяснить очень скоро, начнут ли эти более крупные модели выходить на плато в своих возможностях.
Как выглядит объяснимость в мире моделей с триллионом параметров? Любой, кто говорит вам, что у него есть хоть малейшее представление, обманывает себя (пожалуйста, кто-нибудь, докажите, что я ошибаюсь в этом)
Во-вторых: давайте возьмем еще один критерий производительности глубокой сети — производительность по сравнению со средним человеком. Существует множество эталонных задач для машинного обучения, которые обычно отслеживаются. За последние 5 лет средняя человеческая производительность превышала один тест за другим. Начинает казаться, что любая задача, которую ставят перед собой крупные игроки в области ИИ, подвергается риску, модели могут превзойти средние результаты на SAT, они могут обмануть людей, заставив их поверить в то, что модели — это люди, они начинают наводнять такие сайты, как quora и stack exchange, выполняя очень человеческую роль предоставления экспертных советов.
Для всех, кому интересно отслеживать современные показатели производительности «соты» в литературе по машинному обучению в сравнении с так называемыми эталонными наборами данных, есть очень полезный сайт под названием «документы с кодом». Проверка так же проста, как выбор задачи и просмотр прогресса с течением времени. Например, прогресс с 2017 года по сегодняшний день в тесте triviaQA, распространенном наборе данных вопросов и ответов, имитирующем мелочи. PaLM от Google в настоящее время является лидером с показателем EM около 81.
Это значительное улучшение по сравнению с тем, что было в 2017 году.
Проверьте это: https://paperswithcode.com/sota
Чтобы взглянуть на производительность по сравнению с людьми, информация, как правило, несколько отличается. Было бы замечательно включить в документы с кодом простые задачи по тегированию человека, чтобы помочь обеспечить человеческие эталоны для тестирования моделей. В отсутствие такого систематического решения естьодна недавняя публикация, в которой собрано множество человеческих тестов.
Стэнфордский индекс ИИ в 2021 году собрал многие из этих задач, чтобы составить отчет о производительности ИИ по сравнению с человеческими тестами с течением времени. В каждой отдельной задаче производительность модели дала огромный прирост. Во многих случаях модели в настоящее время превосходят людей.
Я полагаю, возьми своего друга с искусственным интеллектом на вечер викторин.
Эти тесты обычно являются некоторой мерой случайной человеческой производительности, то есть вас могут не слишком впечатлить навыки случайного человека с улицы (учитывая, что люди часто не могут найти свою страну на карте).
Однако у нас есть признаки того, что наше моделирование также начинает превосходить экспертов. Это достаточно легко найти в гугле, но быстрый поиск дает ориентировочную цитату ниже:
Коммерческая система искусственного интеллекта (ИИ) соответствовала точности более 28 000 интерпретаций маммограмм скрининга рака молочной железы, сделанных 101 рентгенологом.
из статьи, представленной в Национальный институт рака США.
Полное раскрытие. Я не знаю, что все это значит.
Я опубликую ветку о популяции лошадей позже.
Достаточно графиков
Я твердо верю, что это оскорбительно для самой жизни
Контрольные показатели, которые обычно приводятся в литературе для производительности ИИ, являются объективными и «основанными на задачах». Это хорошо работает для тех вещей, для которых мы обычно думаем об использовании ИИ — для извлечения данных, автоматизации, перевода или языкового анализа мы можем строго оценивать и объективно измерять производительность алгоритмов. Эта производительность значительно улучшилась до такой степени, что сегодня мы увидим ускорение замены человеческого труда ИИ в этих областях.
А как же искусство?
Если вы не живете под скалой, вы видели, как арт-платформы с искусственным интеллектом, такие как DALL-E, промежуточное путешествие, стабильное распространение и все остальное, взрываются. Даже ChatGPT, построенный на GPT-3 (3.5), представляет собой художественный движок, с легкостью создающий истории и стихи.
На данный момент создание искусственного интеллекта требует довольно много работы. Чтобы получить отличный товар, обычно пользователю нужно попробовать несколько вариантов подсказок (которые иногда читаются как названия товаров на Amazon «отличный, фотореалистичный, красивый, 4-k, трендовый цветочный горшок») и сделать множество фотографий-кандидатов. Иногда «ИИ-художники» даже обрабатывают эти изображения в фотошопе, чтобы получить конечный продукт.
Но насколько хороши эти выходы?
«Суждения» об искусстве очень субъективны — мы не можем подойти к проблеме сравнительного анализа так же, как к другим задачам. Тем не менее, независимо от того, являетесь ли вы сторонником прогресса в этих больших моделях или считаете, что такой прогресс угрожает тому, что вообще значит быть человеком, нам следует лучше каталогизировать их производительность.
Нам также нужно отслеживать производительность в искусстве ИИ.
Тот короткий рассказ, написанный GPT 3.5? Можем ли мы получить случайную выборку человеческих оценок для сравнения со средним человеческим рейтингом? Средний писатель?
Я так быстро здесь теряюсь. Имеет ли значение средний рейтинг? Что делает искусство хорошим?
И нам нужно задавать себе трудные вопросы, поскольку производительность продолжает улучшаться. Что это значит, когда GPT-3 лучше разбирается в микрофантастике, чем средний человек? Средний писатель? Лучшие писатели?
Это вообще возможно????
Сегодня я наткнулся на статью, описывающую интервью с Хаяо Миазаки из Studio Ghibli, в котором он ответил искусству искусственного интеллекта.
Это цитата из заголовка этого раздела:
Я твердо верю, что это оскорбительно для самой жизни
Иногда я задаюсь вопросом, увидим ли мы в будущем движение, похожее на движение locavore, но человеческую реакцию на автоматическое создание искусства. Мне нравится представлять, что человеческая связь так же неотъемлема для нашего опыта искусства, как и фактическое содержание произведения.
В любом случае я не уверен, что люди могут вести здоровую, полноценную жизнь без художественного самовыражения. Это не то, что мы можем отдать машинам.
Действительно ли производство, а не потребление искусства могло бы обогатить нас?
Думаю, у меня есть только один вопрос, если вы дочитали до конца этой части.
Вы знаете, что машинное обучение могло бы написать статью, верно? Может быть, он даже лучше работал? Зачем читать то, что написано человеком?
Я ценю это. Если вы хотите больше, не стесняйтесь найти меня в социальных сетях или в Интернете.
https://www.instagram.com/ifiwrote
или на мастодонта @[email protected]
