Для понимания математики алгоритмов машинного обучения, особенно алгоритмов глубокого обучения, важно развивать математические концепции от базовых до более сложных. К сожалению, математические теории во многих случаях слишком сложны / абстрактны / сухи, чтобы их можно было переварить. Представьте, что вы едите пиццу, ведь всегда проще и веселее съесть колу.
Цель этой статьи - предоставить интуитивно понятные примеры фундаментальных математических теорий, чтобы сделать процесс обучения более приятным и запоминающимся, а именно: подавать куриные крылышки с пивом, картофель фри с кетчупом и рибай с вином. .
Трехкурсный курс фундаментальной математики для машинного обучения и питания организован следующим образом:
- Что такое скаляр, вектор, матрица и тензор?
- Сложение между скалярным, векторным и матричным
- Умножение между скалярным, векторным и матричным
- Идентичность и обратная матрица
- Диагональная матрица и симметричная матрица
- 1-норма, 2-норма, максимальная норма векторов
- Ортогональные и ортонормированные векторы
- Ортогональная матрица
От собственного разложения к определителю: фундаментальная математика для машинного обучения с интуитивными примерами Часть 3/3
- Собственное разложение матрицы: собственное значение и собственный вектор
- Оператор трассировки
- Определитель квадратной матрицы
В этой статье мы рассмотрим часть 3/3, От собственного разложения до детерминанта с интуитивно понятными примерами.
Собственное разложение матрицы: собственное значение и собственный вектор
Зачем нужна декомпозиция? Если мы хотим узнать природу чего-либо, разложение - это эффективный и практичный подход. Предполагая, что вы только что завели нового друга, разделение его / ее на следующие четыре компонента может помочь вам быстро установить более глубокое понимание конкретного человека.
Та же методика в математике. Целое число можно разложить на простые множители, например, 20 = 2 * 2 * 5, что означает, что 20 не делится на 3, а любое целое число, кратное 20, будет делиться на 5.
Собственное разложение - это способ разложения матрицы на набор собственных векторов и собственных значений. Ненулевой вектор v является собственным вектором квадратной матрицы A, если он удовлетворяет уравнению собственных значений:
где λ - скаляр, известный как собственное значение, соответствующее вектору v.
Собственное разложение матрицы A имеет вид
где V - квадратная матрица, i-й столбец которой является i-м собственным вектором матрицы A, и diag (λ) - диагональная матрица, диагональные элементы которой являются соответствующими собственными значениями.
Например, реальная матрица:
может быть разложена на диагональную матрицу путем умножения невырожденной матрицы V:
Вышеупомянутые 2 векторных уравнения могут быть представлены одним векторным уравнением:
Сдвигая λv в левую часть, мы можем получить
где вектор v не равен нулю, поскольку матрица V невырожденная. Следовательно,
Согласно детерминантному определению матрицы, мы можем иметь:
Подставляя решения обратно в приведенные выше векторные уравнения:
Решая уравнения, имеем
Таким образом, матрица V, необходимая для собственного разложения A:
Например,
Оператор трассировки
В линейной алгебре след квадратной матрицы A определяется как сумма элементов на главной диагонали:
Например, есть матрица 3 * 3 A,
Некоторые основные свойства оператора трассировки следующие:
В более общем смысле, след инвариантен к перемещению для перемещения последнего фактора в первую позицию, что называется циклической перестановкой, т. Е.
Определитель квадратной матрицы
Что такое детерминант? Зачем нужно понимать, как вычислить определитель матрицы? Что означает значение детерминанта в машинном обучении?
Определитель квадратной матрицы, обозначаемый det (A), представляет собой значение, которое может быть вычислено из элементов матрицы. Для матрицы 2 * 2 ее определитель:
Для матрицы 3 * 3 определитель определяется как
В случае матрицы 4 * 4 определитель равен
Определитель равен произведению всех собственных значений матрицы, который мы можем использовать для отображения матрицы на действительный скаляр. Вы можете использовать numpy.linalg.det для вычисления определителя массива.
Детерминант - это важное математическое понятие в алгоритмах машинного обучения, например, в широко используемом решении для уменьшения размерности: анализе главных компонентов (PCA). Как мы знали, матрицу можно рассматривать как линейное преобразование пространства, значение ее определителя можно рассматривать как мультипликативное изменение, которое вы получаете при преобразовании пространства с помощью этой матрицы, которая может быть поворот, масштабирование или изменение ориентации и т. д.
Поздравляю! Вы завершили третью часть, а также последнюю часть курса Фундаментальная математика для машинного обучения с интуитивными примерами.
«Где есть число, там и красота». - Прокл
Прелесть фундаментальных математических теорий в том, что они никогда не устареют. Десять лет спустя, в 2028 году, разработчики программного обеспечения и специалисты по обработке данных могут больше не использовать Python или TensorFlow. Но скаляр остается скаляром, матрица остается матрицей, а тензор остается тензорным. Необходимое и достаточное условие для инверсии матрицы было бы таким же, как и сегодня. Фундаментальная математика может пережить время. Вы можете вложить в эту серию одну неделю или один месяц. К счастью, приобретение - это знания и навыки, которые вы можете применять на протяжении всей жизни, потому что: «Математика - это способ мышления».
Запишитесь на курс Udemy 🦞:
Рекомендательная система с машинным обучением и статистикой
