«ИИ — это новое электричество», — говорит Эндрю Нг, один из пионеров в области ИИ, основатель Coursera и deeplearning.ai. Когда его спросили, на какое место, по вашему мнению, не повлияет ИИ, Эндрю со смехом ответил: «Мне часто задают этот вопрос, и мне трудно найти ответ на этот вопрос из-за огромного потенциального воздействия, которое ИИ влияет на нашу жизнь, но если мне нужно будет ответить, я скажу, что индустрия парикмахерских услуг, потому что только я знаю, как я хочу подстричься», — Эндрю Нг в интервью NDTV.

Именно паровой двигатель принес первую революцию, электричество — вторую, программируемые машины — третью, а искусственный интеллект — четвертую промышленную революцию.

Уму непостижимо, насколько ИИ уже изменил нашу жизнь. От смартфонов до кибернетических систем, от предложений песен до автоматизированного вождения — ИИ предсказывает и предлагает все.

Одним из основных требований для реализации ИИ являются данные. Можно предсказать что угодно, имея достаточно данных для моделирования алгоритма. Благодаря повышению скорости процессоров и их энергоэффективности теперь можно обрабатывать огромные объемы данных на более высоких скоростях. Однако с развитием технологий происходит прогресс в сборе данных, что приводит к увеличению объема имеющихся данных. Больше данных, больше требований к скорости процессора. Количество данных не ограничено, но есть ограничение скорости процессора, как говорит нам закон Мура.

Одно из возможных решений этой проблемы: Уменьшение карты.

Проиллюстрируем это на примере:

Допустим, вы смоделировали алгоритм обучения с учителем и запускаете пакетный градиентный спуск (один из широко используемых алгоритмов) для оптимизации или обучения вашего алгоритма на наборе данных. Одна из ключевых проблем с пакетным градиентным спуском заключается в том, что для выполнения одного приращения в основном алгоритме необходимо пройтись по всему набору данных. Это означает, что если алгоритму требуется 100 итераций для оптимизации и 400 000 обучающих примеров, то пакетный градиентный спуск должен быть запущен 400 000 x 100 раз, чтобы дать ответ. Это очень затратный в вычислительном отношении процесс.

Но если мы используем концепцию уменьшения карты, она разбивает обучающий набор на подмножества и передает эти многочисленные обучающие примеры на разные машины. Скажем, если у вас есть 10 машин, вы можете разделить 400 000 обучающих примеров на 10 частей и передать их на разные машины, чтобы у одной машины было только 40 000 обучающих примеров для повторения. Это заставляет машину выполнять только одну десятую работы и, предположительно, в 10 раз быстрее. После вычисления обучающих примеров результаты затем объединяются сервером. При этом предполагается, что отправка данных по сети не требует затрат и задержки в сети нет.

Что это дает?

Возьмем пример использования:

Возьмем, к примеру, Соединенные Штаты; одна из наиболее пострадавших стран с Covid-19. Скажем, нужно было разработать алгоритм машинного обучения для определения того, у кого из людей с наибольшей вероятностью проявляются симптомы Covid-19, на основе таких данных, как история болезни, страховые записи, диетические привычки, режим работы и жизни и т. д. Это помогло бы в создании целевых групп, убедиться, что они принимают достаточные меры предосторожности и, следовательно, снизить уровень смертности.

Предполагая, что данные обо всем этом находятся в свободном доступе для каждого человека, живущего в Соединенных Штатах Америки, нужно было бы обучить алгоритм для всего населения страны (по оценкам, около 328 миллионов человек в 2019 году) с тысячами признаков. Чтобы запустить такую ​​систему на одном процессоре, потребовались бы месяцы обработки, что невозможно в текущем сценарии. Не говоря уже об использовании этого алгоритма для всего населения мира.

Спасатель жизни: уменьшение карты.