Заявление об ограничении ответственности - содержание этого блога основано на курсе «Экспертные системы и 6 банок машинного обучения» от PadhAI- One Fourth Labs. Изображения также взяты из того же курса.
О чем этот блог
Этот блог предлагает быстрый просмотр или ключевые указатели на 6 Jars of ML, как описано в курсе, упомянутом в Заявлении об отказе от ответственности. Хотя видео курса подробно освещает эту тему, это быстрое освежение знаний.
Требуется 6 банок
В машинном обучении много жаргона, который может показаться очень плавным и случайным, если мы не распределим их по категориям. Категоризация дает нам лучшее понимание, которое помогает нам определить, будет ли нам интересен конкретный жаргон. Например: «Топ-3 точности» следует понимать как метод оценки. Итак, давайте продолжим и разберемся с 6 банками.
Данные - Топливо для машинного обучения
1. Мультимодальные данные
Данные повсюду в разных форматах, таких как текст, речь, изображения, видео, структурированные.
например: Amazon имеет информацию о продукте в структурированной таблице, изображения продукта, обзоры, которые представляют собой неструктурированные данные, а также несколько видеороликов.
2. Где найти данные
Если вам повезет, вы можете найти в Интернете на таких платформах, как Google AI. Если вы богаты, вы можете использовать краудсорсинг. Если вы умны, вы можете генерировать данные.
Например: В примере с вывеской вы можете иметь пустую вывеску и вставлять различные названия мест и создавать изображения реальных вывески.
3. Что искать в данных
1. Проверьте, есть ли у вас и вход, и выход.
Например: если вас просят предсказать аномалии по сканированию мозга, вы должны сначала попросить несколько изображений сканирования мозга, где врач уже предсказал аномалию.
2. Машиночитаемое или числовое представление данных.
например: изображения могут быть представлены в виде значений пикселей. Изображение сканирования мозга на матрице 30 * 30 будет содержать 900 пикселей со значениями RGB. Видео, которое представляет собой серию изображений, также может быть представлено в этом формате. Текст, документ или отзывы также могут быть представлены в числовом виде.
3. Данные всегда многомерны.
Например: изображение сканирования мозга, которое имело 900 пикселей, на самом деле имеет 900 входных параметров. Таким образом, данные всегда будут иметь большой размер.
Задача - что вы делаете с данными
1. Примеры задач
На странице Amazon, на которой есть информация о продукте, изображение, обзоры - одной из задач может быть создание часто задаваемых вопросов (y) из информации о продукте (x1) и обзоров (x2).
Другой задачей может быть рекомендовать аналогичные продукты.
Другой задачей может быть ответ на запросы клиентов.
2. Категоризация задач.
- Классификация - задача для набора изображений, которая классифицирует их как содержащие текст или нет. Это можно сделать с помощью данных, содержащих ввод и вывод. Это относится к контролируемому обучению.
- Регрессия - вместо простой классификации да / нет задача будет заключаться в получении некоторой значимой информации. Например: мы действительно можем найти координаты или границу текста на изображении. Это также контролируемая форма обучения.
- Кластеризация - это скорее неконтролируемая задача, когда машина может сгруппировать изображения по различным категориям. Например: машина может группировать изображения по цвету, форме и т. Д. Метку для группы должны давать люди, поскольку машина может только идентифицировать похожие шаблоны и группу.
- Генерация - эта неконтролируемая задача используется для генерации новых входных Xs. Например: мы могли бы генерировать новые изображения, похожие на входные.
Модель - Математическая формула для задания
Что такое модель
Это функция или математическая формула, определяющая наилучшее соответствие между входом и выходом.
Если y считается выходом, а x - входом, простая функция f может быть
y= mx+c
Но не все данные могут уместиться на одной прямой. Рассмотрим приведенный ниже пример, содержащий различные значения x и y.
Как видите, прямая линия не охватывает все точки. Таким образом, наиболее подходящей функцией может быть одна из следующих функций с определенным значением для параметров a, b, c…
Что искать в модели
- Определите наиболее подходящую функцию.
2. Определите наиболее подходящие параметры.
3. Не всегда выбирайте сложную модель, так как это приведет к чрезмерной подгонке.
Функция потерь - как узнать, какая модель лучше
Что такое функция потерь
Поскольку мы можем придумать несколько моделей (функций) и параметров (значения для a, b, c и т. Д.), Функции потерь помогают определить лучшую модель.
Один из примеров функции потерь может суммировать разницу между фактическим выходным значением и прогнозируемым выходным значением. Перед подведением итогов необходимо возвести квадрат во избежание гашения знака. Если функция потерь имеет значение 0, то это была бы идеальная модель.
Пример
Мы можем обозначить функцию потерь L как
Если предположить ниже,
x = 2, y = 4, прогноз модели = 3
x = 3, y = 5, прогноз модели = 6
Тогда функция потерь будет иметь вид квадрат (4–3) + квадрат (5–6), который равен 2.
Алгоритм обучения - Как определить параметры
Что такое алгоритм обучения
После того, как мы идентифицируем модель, следующая важная вещь - определить значения параметров a, b, c. Если мы рассмотрим второе уравнение на изображении ниже, a / b / c может принимать любые значения в диапазоне от -infinity до + infinity. Алгоритм обучения - это машина Jar, которая помогает определить значения для a, b, c.
Алгоритм поиска
Одним из используемых алгоритмов может быть поиск. На приведенном выше рисунке, если мы ограничим значения a / b / c диапазоном от -2000 до +2000, то мы сможем подставить каждое значение во все возможные комбинации.
например: 2000/2000/1999,9, 2000,1999,9,1999,8 и т. д.
После того, как мы подставили и нашли значения y, чтобы определить, какое из них лучше всего подходит, мы будем использовать функцию потерь. Мы бы выбрали значение, которое имеет минимальную функцию потерь.
Таким образом, теперь это становится проблемой оптимизации, когда мы фактически пытаемся найти параметры, которые минимизируют функцию потерь.
Почему эта банка - это машина?
Когда количество параметров велико, а диапазон может быть любым, нам действительно потребуется машина для выполнения этой работы.
Мы также могли бы дать машине несколько функций вместо одной и попросить ее определить параметры для каждой функции, которая минимизирует потери. Machine использует исчисление / линейную алгебру для определения алгоритма обучения.
Как только мы, люди, обработаем данные, определим задачу, определим модель и функцию потерь, мы сможем использовать машину для выбора наилучшей функции и параметров, которые минимизируют потери.
Оценка - Оцените свою модель
Зачем нужна оценка
Мы собрали данные, определили задачи, нашли наиболее подходящую модель, нашли функцию потерь, которая будет использоваться, и определили алгоритм обучения, который находит значения параметров, которые минимизируют функцию потерь. Теперь нам нужно забить модель.
Хотя у нас есть функция потерь, точность модели может быть лучше оценена при использовании метода оценки. Например: функция потерь может дать значение 0,4, но мы не сможем напрямую соотнести это с точностью.
Если мы разрабатываем систему для автоматического торможения при появлении препятствия, например, собаки, то мы могли бы выбрать функцию потерь как расстояние между собакой и фургоном при включении тормоза. Но точность можно лучше описать, подсчитав количество раз, когда вы правильно нажимали на тормоз.
Некоторые методы оценки
- Проверьте, соответствует ли каждое из прогнозов фактическому выходному значению, и точность будет равна числу правильных прогнозов / Всего прогнозов.
- Топ-3 точности - позвольте три прогноза, и если одно из трех верное, считайте их верными. Таким образом, точность можно обозначить как количество правильных прогнозов в тройке лучших / всего прогнозов.
- Точность и отзывчивость. Точность заключается в том, что сколько раз вы выполняли действие, сколько раз оно действительно было необходимо. Вспомните, сколько раз вы должны были совершить действие, сколько раз вы это делали на самом деле. В приведенном выше примере тормоза это можно обозначить диаграммой Венна. Обратите внимание, что если ваша модель на 100% точна, то идеальной диаграммой Венна будет круг над кругом, обозначающий, что всякий раз, когда была собака, применялся тормоз.
4. Данные обучения и тестирования - данные тестирования могут содержать неизвестные параметры, что отличает их от данных обучения. Оценка модели должна производиться на тестовых данных.
