Введение в машинное обучение — история

Машинное обучение, также известное как ML, переживает третий период признания. Почти любая компания, независимо от ее размера, использует машинное обучение для обработки данных и их агрегирования таким образом, чтобы мы могли делать прогнозы.

Эти предсказания могут быть применены во многих областях. На такие вопросы, как что будет на фондовом рынке или погода или предсказание движения робота после действия, можно ответить благодаря машинному обучению.

Можете ли вы предсказать историю машинного обучения?

История машинного обучения начинается с первой математической модели нейронных сетей, представленной в научной статье «Логическое исчисление идей, присущих нервной деятельности» Уолтера Питтса и Уоррен МакКаллох в 1943 году. Их предложение было основано на применении логической связи не, и, или и идее, что они могут воспроизводить нейронные связи, составляя их комбинации.

Концепция термина «Машинное обучение» была придумана в 1959 году Артуром Сэмюэлем. Он создал программу для игры в компьютерные шашки чемпионского уровня. Ум Свифт был при поведении программы. Вместо того, чтобы писать программу, которая включала бы все возможные сценарии, он создал алгоритм, который анализировал данные, чтобы решить, как играть в шашки. Кроме того, Сэмюэл использовал минимаксный алгоритм поиска оптимального хода, предполагая, что противник также играет оптимально. Алгоритм смог извлечь уроки из предыдущих игр и со временем улучшиться.

В 1965 году украинские советские ученые Алексей (Олексий) Ивахненко и Валентин Лапа разработали иерархическое представление нейронной сети, которая использует полиномиальную функцию активации и обучается с помощью группового метода Обработка данных (GMDH). Он считается первым в мире многослойным персептроном, а Ивахненко часто называют отцом глубокого обучения.

Два года спустя, в 1967 году, Томас Ковер и Питер Э. Харт из Стэнфордского университета опубликовали статью об одном из самых известных алгоритмов — алгоритме ближайшего соседа. Необходимы два решения по настройке: количество ближайших соседей для формирования правила классификации и мера расстояния. Этот алгоритм позволил нам сгруппировать похожие вещи и распознать закономерности, ничего не зная о наборе данных, кроме некоторых ключевых характеристик.

А потом все изменилось.

Группа провидцев отметила слабое место в системах, основанных на знаниях, которые были в моде в области искусственного интеллекта в 1970-х годах. Результаты машинного обучения было трудно сообщить. Понятно, что люди склонны сопротивляться чему-то новому, поэтому они настаивали на том, чтобы оно приняло форму правил «если-иначе» после совместных усилий инженеров и экспертов в этой области. Однако сторонники ML сказали, что если так сложно написать инструкции по конкретной проблеме, почему бы не предоставить инструкции косвенно, обучая машину на примерах, на которых компьютер будет учиться. Однако основная трудность заключалась в отсутствии необходимых методов машинного обучения.

Вторая волна ML-ажиотажа

Научное сообщество восприняло это отсутствие как вызов. Следовательно, в 1983 году объем статей по машинному обучению начал расти. Увеличение мощности компьютеров позволило исследователям создавать реалистичные приложения, классификаторы, программы автоматической тонкой настройки и многое другое. В дополнение к этому восходящему тренду учебник, выпущенный Томом Митчеллом, формально резюмировал состояние дел в этой области. Университеты построили курсы на основе этого учебника, и машинное обучение снова стало популярным в сообществе.

Пол Смоленский три года спустя, в 1986 году, придумал Ограниченную машину Больцмана (УБМ), которая может анализировать набор входных данных и изучать на их основе распределение вероятностей. В настоящее время эта модель полезна для поиска самых популярных слов в статье или разработки систем рекомендаций на основе ИИ. В 1990-х годах в статье The Strength of Weak Learningability Роберта Шапира и Йоава Фройнда было представлено ускорение машинного обучения, которое повысило эффективность алгоритмов машинного обучения. Алгоритм Лес случайных решений представлен в статье, опубликованной Тином Кам Хо в 1995 году. Название "лес" возникло в результате создания нескольких деревьев решений ИИ для принятия точных решений. -изготовление.

Несмотря на то, что эффект снежного кома от блестящих алгоритмов этих прекрасных умов был настолько впечатляющим, IBM заявляет о важности машинного обучения с помощью игры в шахматы. Deep Blue был шахматным компьютером, который выиграл свою первую партию у чемпиона мира Гарри Каспарова в первой партии матча из шести партий 10 февраля 1996 года. Это было доказательством того, что машины могут учиться и перехитрить реальных людей. .

Позже, в 1997 году, Кристоф Бреглер, Мишель Ковелл и Малкольм Слейни разработали первое программное обеспечение для дипфейков. Программное обеспечение использовало методы машинного обучения, чтобы связать звуки, издаваемые субъектом видео, и форму их лица.

Это также культивировало веру в то, что мы можем подражать человеческому разуму. Первое упоминание термина «глубокое обучение» принадлежит исследователю нейронных сетей Игорю Айзенбергу. Однако энтузиазм в отношении машинного обучения угас. Потребовалось еще 9 лет для следующего достижения в сочетании с ростом вычислительной мощности.

Нынешняя эпоха рвения

В 2009 г. Фей-Фей Ли запустила огромную визуальную базу данных помеченных изображений ImageNet. Она считала, что за изображением стоит история. Поэтому она возглавила команду студентов и сотрудников для организации международного конкурса по задачам распознавания ImageNet под названием ImageNet Large-Scale Visual Recognition Challenge (ILSVRC) в период с 2010 по 2017 год в академическом сообществе.

Это дало эстафетную палочку X Lab Google. Команда Эндрю Нг разработала алгоритм искусственного интеллекта Google Brain, который позже, в 2012 году, стал известен своей эффективностью в обработке изображений. Что в конечном итоге привело нас к распознаванию лиц, генеративно-состязательным сетям (GAN) и многим другим.

Несомненно, 2020 год не будет забыт. Помимо вируса, в этом году было объявлено о двух крупных новшествах, способствующих эволюции машинного обучения.

Нейронная сеть под названием AlphaFold, разработанная DeepMind, принадлежащей Google, сделала огромный шаг в решении одной из самых важных задач в биологии, определяя трехмерную форму белка по его аминокислотам. кислотная последовательность. Точное предсказание белковых структур по их аминокислотной последовательности значительно ускорит усилия по пониманию строительных блоков клеток и позволит быстрее и эффективнее открывать лекарства.

Наконец, NVIDIA AI удалось создать новые изображения, воспроизводящие оригинальный стиль работы художника. Затем эти изображения можно использовать для обучения других моделей ИИ. Этот метод называется Adaptive Discriminator Augmentation (ADA), и NVIDIA подчеркивает, что он может уменьшить количество необходимых обучающих изображений в 10–20 раз, сохраняя при этом фантастические результаты.

Видеоклипы

В заключение, машинному обучению предстоит пройти долгий путь. Я один из тех, кто поддерживает мечту об ИИ. Мы живем в эпоху энтузиазма в этой области науки с 2009 года и далее. Этот факт дал мне интуитивное представление о том, что в ближайшем будущем мы станем свидетелями удивительных инноваций. И я надеюсь, что все мы будем в безопасности и здоровы, чтобы стать свидетелями этого вместе.