Для понимания математики алгоритмов машинного обучения, особенно алгоритмов глубокого обучения, важно развивать математические концепции от базовых до более сложных. К сожалению, математические теории во многих случаях слишком сложны / абстрактны / сухи, чтобы их можно было переварить. Представьте, что вы едите пиццу, ведь всегда проще и веселее съесть колу.
Цель этой статьи - предоставить интуитивно понятные примеры фундаментальных математических теорий, чтобы сделать процесс обучения более приятным и запоминающимся, а именно: подавать куриные крылышки с пивом, картофель фри с кетчупом и рибай с вином. .
Трехкурсный курс фундаментальной математики для машинного обучения и питания организован следующим образом:
- Что такое скаляр, вектор, матрица и тензор?
- Сложение между скалярным, векторным и матричным
- Умножение между скалярным, векторным и матричным
- Идентичность и обратная матрица
- Диагональная матрица и симметричная матрица
От нормы к ортогональности: фундаментальная математика для машинного обучения с интуитивно понятными примерами Часть 2/3
- 1-норма, 2-норма, максимальная норма векторов
- Ортогональные и ортонормированные векторы
- Ортогональная матрица
- Собственное разложение матрицы: собственное значение и собственный вектор
- Оператор трассировки
- Определитель квадратной матрицы
В этой статье мы рассмотрим часть 2/3, От нормы к ортогональности с интуитивно понятными примерами.
1-норма, 2-норма, максимальная норма векторов
Как измерить размер вектора? Один из подходов - использовать функцию нормы:
- 1-Норма: в приложениях машинного обучения он обычно используется, когда важна разница между 0 и ненулевыми элементами.
Например, 1-норма вектора v может быть рассчитана как:
- 2-норма: известная как евклидова норма, которая представляет собой евклидово расстояние от начала координат до точки, обозначенной вектором x.
Обычно для измерения размера вектора используется возведенная в квадрат 2-норма вместо самой 2-нормы. Причина в том, что квадрат 2-нормы можно рассчитать как:
что удобнее, чем вычислять саму 2-Норму. В следующем примере показано, как рассчитать 2-норму вектора v:
- Максимальная норма: наибольшее абсолютное значение элемента в векторе, которое можно записать как:
В следующем примере показано вычисление максимальной нормы вектора v:
Ортогональные и ортонормированные векторы
Вектор u и вектор v ортогональны друг другу тогда и только тогда, когда их скалярный продукт равен 0:
Например, в трехмерном евклидовом пространстве
В геометрии два ортогональных вектора взаимно перпендикулярны в евклидовом пространстве:
Вектор u и вектор v представляют собой пару ортонормированных векторов, что означает:
Его можно расширить до следующих уравнений в трехмерном евклидовом пространстве:
Например,
Поэтому мы говорим, что вектор u и вектор v ортонормированы.
Ортогональная матрица
Ортогональная матрица - это квадратная матрица, строки и столбцы которой ортонормированы:
Например, следующая матрица ортогональна, потому что:
Это означает, что матрица ортогональна, если ее транспонирование равно ее обратной:
Следовательно, ортогональная матрица представляет интерес в машинном обучении, потому что вычисление обратной матрицы очень дешево. Нам нужно обратить внимание на то, что строки и столбцы в ортогональных матрицах не просто ортогональны, но и ортонормированы.
Поздравляю! Вы закончили две трети курса фундаментальной математики для машинного обучения с интуитивными примерами. Ты это можешь!
