По этой статье я начал изучать первую книгу в списке. [Глубокое обучение (серия адаптивных вычислений и машинного обучения). Документация на Medium нескольких концепций, которые были прекрасно освещены в книге, является первой публикацией в серии, посвященной векторным нормам — одной из фундаментальных тем линейной алгебры.
Что такое вектор?
Вектор — это просто массив чисел, обозначающий точку в n-мерном пространстве. В науке о данных эта точка может представлять, скажем, экземпляр дома, а каждое из чисел — некоторое «свойство» или особенность дома.
Например, пусть следующие характеристики (n = 4) дома, которые мы хотим рассмотреть, —
- количество спален
- количество ванных комнат
- количество балконов
- возраст дома (текущий год-год постройки)
[3,3,1,3] — это вектор, представляющий дом, каждый из номеров которого соответствует перечисленным выше функциям.
Поскольку идея вектора ясна, одной из важных мер в науке о данных является определение величины или размера вектора. Это дается тем, что называется «нормой». Норма – это, по сути, функция, которая отображает вектор в одно неотрицательное число.
Норма в «p-форме» определяется как:
Евклидова норма
Когда p = 2, норма называется евклидовой нормой, которая часто используется в машинном обучении. Он также известен как SRSS или квадратный корень из суммы квадратов.
Для примера с домом евклидова норма определяется выражением
Манхэттенская норма
1-норма, также известная как Манхэттенская норма, представляет собой сумму абсолютных значений характеристик, определяемых как:
Для примера дома манхэттенская норма определяется как
Макс. норма
Максимальная норма дает абсолютное значение наибольшего признака.
Изоповерхности нормы Lp
Для простоты и возможности визуализации рассмотрим только две функции вместо четырех. Предположим, мы хотим построить следующий график для p = 0,5,1 и 2; т.е. постройте характеристики x1 и x2 так, чтобы норма Lp была константой, скажем, равной 1
Визуализация норм L1 и L2 полезна для понимания различий между гребенчатой и лассо-регрессией (которые представляют собой два метода регуляризации), в частности, почему для выбора признаков можно использовать L1 или Lasso, а не L2.
Обратите внимание на ромбовидную форму графика L1 по сравнению с круглой формой графика нормы L2.
Если вы ранее работали с методами регуляризации, вы сможете оценить, как геометрические свойства этих фигур определяют точку пересечения контуров функции стоимости и норм.
Методы регуляризации потребуют отдельного блога и выходят за рамки этого блога.
Надеюсь, вы получили некоторое представление о нормах после прочтения этого. Спасибо за ваше время!
