Этот блог связан с машинным обучением. И в качестве краткого начала вы спросите себя, что такое машинное обучение, в нескольких словах это изучение алгоритмов (это шаги, которые необходимо выполнить, которые позволяют нам решить проблему или принять решение) информатики, которые облегчают использование инструмент в автоматическом через опыт.

Машинное обучение предлагает эффективный способ сбора знаний с помощью информации, содержащейся в данных, для постепенного повышения производительности прогностических моделей и принятия решений на основе таких данных. Это стало широко распространенной технологией, и в настоящее время она присутствует в: фильтрах защиты от спама для электронной почты, автоматическом вождении транспортных средств или распознавании голоса и изображений.

Основная терминология и обозначения

В машинном обучении мы обычно используем векторные матрицы и обозначения для обозначения данных следующим образом:

  • Каждая строка матрицы является выборкой, наблюдением или точечными данными.
  • Каждый столбец — это функция (или атрибут) наблюдения, упомянутого в предыдущем пункте («функция» на изображении ниже).
  • В более общем случае будет столбец, который мы назовем объективным, меткой или ответом, и который будет значением, которое предназначено для прогнозирования. («метка» на изображении ниже.

Существуют определенные алгоритмы, целью которых является «обучение» моделей машинного обучения. Эти алгоритмы предоставляют обучающие данные, которые позволяют моделям учиться на них.

Что касается алгоритмов машинного обучения, то они обычно имеют определенные «внутренние» параметры. Например, в деревьях решений есть такие параметры, как максимальная глубина дерева, количество узлов, количество листьев… эти параметры называются «гиперпараметрами».

Мы называем «обобщением» способность модели делать прогнозы, используя новые данные.

Типы машинного обучения

Типы машинного обучения, которые будут рассмотрены в этой серии:

  • контролируемое обучение
  • Обучение без учителя
  • Глубокое обучение

Мы исследуем и изучим эти три типа, уделяя особое внимание классу методов глубокого обучения, называемому «расширенное обучение».

контролируемое обучение

Это относится к типу моделей машинного обучения, которые обучаются на наборе примеров, в которых известны выходные результаты. Модели учатся на этих известных результатах и ​​корректируют свои внутренние параметры в соответствии с входными данными. Как только модель правильно обучена, а внутренние параметры согласуются с входными данными и результатами батареи данных обучения, модель сможет делать адекватные прогнозы перед лицом новых данных, которые ранее не обрабатывались.

Обучение без учителя

При обучении без учителя мы будем иметь дело с немаркированными данными, структура которых неизвестна. Целью должно быть извлечение важной информации без ссылки на известные выходные переменные и путем изучения структуры таких немаркированных данных.

Есть две основные категории: группировка и уменьшение размеров.

1. Группировка или кластеризация:

Группировка — это исследовательский метод анализа данных, который используется для организации информации в значимые группы без предварительного знания ее структуры. Каждая группа представляет собой набор подобных объектов, отличающихся от объектов других групп. Цель состоит в том, чтобы получить ряд групп со схожими характеристиками.

Примером применения этого типа алгоритмов может быть установление типов потребителей в соответствии с их покупательскими привычками, чтобы иметь возможность применять эффективные и «персонализированные» маркетинговые методы.

2. Размерное уменьшение:

Обычной является работа с данными, в которых каждое наблюдение представлено большим количеством характеристик, другими словами, имеющими высокую размерность. Этот факт является проблемой для вычислительной мощности и вычислительной производительности алгоритмов машинного обучения. Уменьшение размеров является одним из методов, используемых для смягчения этого эффекта.

Уменьшение размерности работает путем нахождения корреляций между характеристиками, подразумевая наличие избыточной информации, поскольку одни характеристики могут быть частично объяснены другими (например, может быть линейная зависимость). Эти методы удаляют «шум» из данных (который также может ухудшить поведение модели) и сжимают данные в меньшее подпространство.

3. Глубокое обучение

Глубокое обучение или глубокое обучение — это подполе машинного обучения, в котором используется иерархическая структура искусственных нейронных сетей, построенных аналогично нейронной структуре человеческого мозга, с нейронными узлами, соединенными подобно паутине. Эта архитектура позволяет нелинейно подходить к анализу данных.

Первый слой нейронной сети принимает на вход необработанные данные, обрабатывает их, извлекает информацию и передает ее следующему слою в качестве вывода. Этот процесс повторяется на следующих уровнях, каждый уровень обрабатывает информацию, предоставленную предыдущим уровнем, и так далее, пока данные не достигнут последнего уровня, где и будет получен прогноз.

Этот прогноз сравнивается с известным результатом, и, таким образом, с помощью обратного анализа модель может изучить факторы, которые приводят к адекватным результатам.

Глубокое/обучение

Расширенное обучение — одна из важнейших ветвей глубокого обучения. Цель состоит в том, чтобы построить модель с агентом, который улучшает свою производительность на основе вознаграждения, получаемого от среды при каждом выполненном взаимодействии. Награда — это мера того, насколько правильным было действие для достижения определенной цели. Агент использует это вознаграждение для корректировки своего будущего поведения с целью получения максимального вознаграждения.

Типичным примером является шахматная машина, где агент выбирает между серией возможных действий в зависимости от расположения доски (то есть состояния окружающей среды), а вознаграждение получается в соответствии с результатом игры.

Задача предварительной обработки

Это один из самых важных шагов в любом приложении машинного обучения. Данные обычно представлены в форматах, которые не являются оптимальными (или даже неадекватными) для обработки моделью. В этих случаях предварительная обработка данных является обязательной задачей.

Многие алгоритмы требуют, чтобы характеристики находились в одном масштабе (например, в диапазоне [0,1]) для оптимизации их производительности, что часто достигается путем применения стандартизации данных или методов стандартизации.

Мы также можем обнаружить в некоторых случаях, что выбранные характеристики коррелированы и, следовательно, избыточны для извлечения из них информации с правильным значением. В этом случае нам придется использовать методы уменьшения размерности, чтобы сжать характеристики в подпространстве с меньшими размерностями.

Наконец, мы случайным образом разобьем наш исходный набор данных на подмножества обучения и тестирования системы.

Резюме

В этой статье мы показали несколько штрихов того, что означает машинное обучение, общую картину его природы, цели и приложений.

Мы также изучили некоторые основные обозначения и терминологию, а также различные виды алгоритмов машинного обучения:

  • Обучение под наблюдением, с методами оценивания и регрессии.
  • Неконтролируемое обучение с кластеризацией и уменьшением размеров.
  • Усиленное обучение, при котором агент учится у окружающей среды.
  • Глубокое обучение и его искусственные нейронные сети.

Наконец, мы представили типичную методологию построения моделей машинного обучения и объяснили их основные задачи:

  • Предварительная обработка.
  • Обучение и тестирование.
  • Подбор модели.
  • Оценка.

Как обсуждалось в начале статьи, это первая статья в серии, предназначенная для общего введения. Цель состоит в том, чтобы серия стала стимулирующим путешествием, поскольку вам покажут, как применять различные и мощные техники.

По техническому характеру серии будут показаны аспекты расчета, линейной алгебры, статистики и концепции Python, так как необходимо будет понять основные концепции и то, как работают алгоритмы. Но не беспокойтесь, если у вас нет специальной подготовки в этом отношении, так как мы сделаем небольшое приближение ко всем этим понятиям.