Обращение к линейной зависимости от разложения на собственные и сингулярные значения
Ранее мы немного говорили о системах линейных уравнений и о том, как их решать с помощью операций со строками. Но, конечно, есть способы лучше интегрировать линейную алгебру в вычисления. Основная причина того, что машинное обучение работает так хорошо, заключается в том, что оно обрабатывает невероятный объем информации. Чем больше данных мы хотим обработать, тем больше нам нужно опасаться времени вычислений. Эти небольшие операции выполняются много тысяч раз, поэтому мы экономим несколько вычислительных шагов здесь и там, что дает большие преимущества.
В нашем стремлении к вычислительной эффективности мы понимаем, что если мы ограничим себя некоторыми параметрами, мы сможем значительно повысить эффективность.
Матрица инверсия
Помните, что когда мы решаем систему уравнений, мы пытаемся найти неизвестные, вектор x, из системы Ax = b.
Если мы немного воспользуемся алгеброй, мы сможем это сделать:
С правой стороны мы начинаем с Ax = b, затем умножаем каждую сторону на обратную A.
Значение, обратное A, определяется таким образом, что значение, обратное A, умноженное на A, дает матрицу идентичности. Идентификационная матрица выглядит так:
В крайнем левом углу мы ограничиваем I пробелом nxn, тем самым делая квадрат I и A. Отсюда мы получаем, что величина, обратная A, умноженная на A, должна быть матрицей идентичности, а также эта матрица идентичности, умноженная на вектор x, равна Икс. В конечном итоге позволяет нам изолироваться на x.
Существование обратного
Система уравнений не может иметь решения, единственного решения и бесконечного числа решений. В последнем случае мы представляем его как параметрическое решение.
Невозможно иметь больше 1, но меньше бесконечного числа решений, потому что, скажем, у вас есть 2 решения, тогда можно получить параметрическое третье решение, используя первые 2 решения благодаря идее линейных комбинаций .
Линейные комбинации
Мы можем думать о столбцах матрицы как о разных направлениях, в которых мы можем двигаться от начала координат. Количество способов достижения b - это количество решений, имеющихся в системе.
Если вы думаете о каждом из этих векторов как о единичных векторах, то каждый элемент x - это скаляр, который умножает единичный вектор, чтобы описать, как далеко он должен двигаться в этом направлении.
Как правило, линейная комбинация некоторого набора векторов задается умножением каждого вектора на соответствующий скалярный коэффициент и сложением результатов. Этот результирующий вектор - вот где мы и закончим.
Диапазон набора векторов - это набор всех точек, которые можно получить линейной комбинацией исходных векторов.
Таким образом, определение того, есть ли в системе решение, сводится к проверке того, находится ли b в диапазоне столбцов A. Диапазон матрицы A также называется пространством столбца или диапазоном A.
Линейная независимость
Учитывая, что наша матрица A имеет размер mxn, чтобы система Ax = b имела решение для всех значений b. Мы требуем, чтобы пространство столбца A составляло все Rm.
Например, рассмотрим матрицу 2x2, в которой оба столбца матрицы идентичны. Он имеет то же пространство столбцов, что и матрица 2x1. Это линия в плоском пространстве, она не может пройти всюду на плоскости.
Такая избыточность называется линейной зависимостью.
Напротив, линейная независимость, свойство набора векторов, где ни один вектор в наборе не является линейной комбинацией других векторов. Это означает, что для того, чтобы матрица охватывала все Rm, она должна иметь не менее m линейно независимых столбцов.
Все вместе это означает, что для того, чтобы матрица имела инверсию, она должна быть квадратной, а все столбцы должны быть линейно независимыми.
Диагональная матрица
Диагональная матрица - это матрица, которая имеет ненулевые значения на главной диагонали и нули во всех остальных местах. Они важны, потому что умножение на диагональную матрицу очень эффективно с вычислительной точки зрения.
diag (v) - квадратная диагональная матрица с элементами вектора v на главной диагонали. Допустим, у нас была ситуация Ax = b, мы можем упростить ситуацию до diag (v) x = b.
Это действительно здорово, потому что diag (v) x равно скалярному произведению v и x.
Диагональ инверсия
Мы только что установили, что для того, чтобы матрица имела инверсию, она должна быть квадратной и иметь все линейно независимые столбцы. Диагональная матрица именно такая, поэтому существует и обратная матрица, которую легко вычислить.
Другие интересные объекты
Симметричная матрица
Симметричная матрица - это матрица, равная собственному транспонированию.
Единичный вектор
Единичные векторы имеют норму L2, равную единице.
Ортогональные векторы
Два вектора x и y ортогональны друг другу, если их скалярное произведение равно 0. Если их нормы не равны нулю, а скалярное произведение равно 0, то это означает, что они равны 90 градусов друг к другу.
В Rn не более n векторов могут быть ортогональны друг другу.
Ортонормированные векторы
Если два вектора являются единичными и ортогональными, то они называются ортонормированными.
Ортогональные матрицы
Ортогональная матрица - это квадратная матрица, строки которой взаимно ортонормированы, а столбцы взаимно ортонормированы.
Из чего следует, что:
Вот почему представляют интерес ортогональные матрицы, потому что их обратные матрицы очень дешевы в вычислении.
Разложения
Декомпозиция матрицы означает, что мы разбиваем ее на компоненты, мы часто делаем это, чтобы понять ее свойства. Точно так же, как разложение на простые множители приводит к разбиению числа 42 на составляющие простые множители: 2, 7, 3.
Мы сосредоточим внимание на двух декомпозициях собственное и сингулярное значение.
Теория собственного разложения
В этом случае мы разбиваем матрицу на собственные значения и собственные векторы. Итак, что такое собственный вектор? Собственный вектор квадратной матрицы A является ненулевым вектором, так что умножение на A изменяет только масштаб v.
Геометрически это означает, что точка, к которой применено линейное преобразование, перемещается в новую позицию, которая описывается собственным вектором, а собственное значение - это скаляр, который описывает, как далеко она перемещена:
Если v является собственным вектором A, то любой измененный вектор s v также имеет значение то же собственное значение. По этой причине мы обычно смотрим на единичный собственный вектор. Теперь предположим, что матрица A имеет n линейно независимых собственных векторов:
и n соответствующих собственных значений:
Мы объединяем все эти собственные векторы в матрицу V, а все собственные значения в вектор:
Собственное разложение A тогда определяется следующим образом:
Видеть! Так же, как разложение на простые множители.
Сейчас наше понимание собственных значений немного упрощено. Но это не так уж и сложно.
Учитывая матрицу A, мы можем ее построить и можем ее деконструировать. Когда мы строим его, мы можем использовать единичные собственные векторы и собственные значения, чтобы растягивать и изгибать его.
Когда мы деконструируем или разлагаем его, мы можем использовать собственные векторы и собственные значения, чтобы понять, что матрица может делать как линейное преобразование.
Иногда собственное разложение возможно, иногда нет, иногда возможно, но оно дает вам комплексные числа. Но поскольку мы имеем дело с эффективными матрицами, нам повезло, потому что каждая вещественная симметричная матрица имеет хорошее разложение:
… Где Q - ортогональная матрица, составленная из собственных векторов матрицы A, а лямбда - диагональная матрица. В этом случае каждое собственное значение масштабируется соответствующим собственным вектором на правой оси.
Теперь любая вещественная симметричная матрица A гарантированно имеет собственное разложение, собственное разложение может быть не единственным. Если любые два собственных значения совпадают, ___.
Итак, наконец, что может сказать нам разложение?
- Матрица сингулярна тогда и только тогда, когда все собственные значения равны 0
- Матрица положительно определена, если все собственные значения положительны
- Если это положительное число и несколько нулей, то это называется положительным полуопределенным; Это гарантирует интересный результат…
- Матрица отрицательно определена, если все собственные значения отрицательны.
- Если это отрицательное и несколько нулей, то это называется отрицательным полуопределенным
Разложение по сингулярным значениям (SVD)
Другой способ факторизовать матрицу - разложить ее на сингулярные векторы и сингулярные значения.
Если он выполняет то же самое, что и собственное разложение, почему он существует? Иногда собственное разложение не работает. СВД работает для любой реальной матрицы. Чего нельзя сказать о собственном разложении.
Если собственное разложение превращается в:
Тогда СВД превращается в 3 матрицы:
Предположим, что A - это матрица размера mxn, тогда U определяется как матрица размера mxm, D - как матрица размера mxn, а V - как матрица размера nxn.
Предполагается, что каждая из этих матриц имеет особую структуру:
- U и V определены как ортогональные матрицы
- Столбцы U называются левыми сингулярными векторами.
- Они равны собственным векторам:
- Столбцы V называются правыми сингулярными векторами.
- Они равны собственным векторам:
- Матрица D определяется как диагональная матрица, хотя и не обязательно квадратная.
- Элементы по диагонали D являются сингулярными числами матрицы A
- Кроме того, ненулевые особые значения A являются квадратными корнями из собственных значений:
Одной из наиболее полезных функций SVD является то, что мы можем использовать его для частичного обобщения инверсии матриц на неквадратные матрицы.
Псевдообратная модель Мура-Пенроуза
Я много встречал псевдообратную инверсию Мура Пенроуза в машинном обучении, поэтому я бы сказал, что это важно понять.
Вот здесь и пригодится СВД.
Допустим, у вас есть система:
Вы умножили каждую сторону на обратную величину A, чтобы получить:
Иногда невозможно создать уникальное сопоставление от A к B:
- Если A выше B, то это уравнение может не иметь решения
- Если A шире, чем B, то это уравнение может иметь бесконечно много решений.
Псевдообратная вселенная Мура-Пенроуза позволяет нам добиться некоторого прогресса в следующих случаях:
Это псевдообратное. Практические алгоритмы вычисления псевдообратной матрицы основаны не на этом определении, а на формуле:
… Где U, D и V - сингулярное разложение матрицы A, а псевдообратная диагональная матрица D получается путем взятия обратной величины ее ненулевых элементов, а затем транспонирования полученной матрицы.
Когда A имеет больше столбцов, чем строк, когда его ширина, то решение линейного уравнения с использованием псевдообратной матрицы дает одно из многих решений.
В частности, он предлагает решение:
… С минимальной евклидовой нормой:
… Среди всех возможных решений.
Когда у A больше строк, чем столбцов, возможно, что нет решения. В этом случае использование псевдообратной матрицы дает нам x, для которого Ax максимально приближается к y с точки зрения евклидовой нормы:
След и детерминант
След
Оператор трассировки дает сумму всех диагональных элементов матрицы:
Основное использование трассировки исходит от всех удостоверений, которым она принадлежит, что делает ее удобной для множества случаев использования:
- Инвариант для транспонирования:
- Перемещение продукта из последней позиции в первую (пока сохраняется форма)
- Это называется инвариантностью к циклической перестановке, это выражается в более общем виде:
Детерминант
Определитель квадратной матрицы A - это функция, которая отображает матрицы в действительные скаляры:
Классный способ подумать об этом: абсолютное значение определителя можно рассматривать как меру того, насколько умножение на матрицу расширяет или сжимает пространство.
Если один из детерминант равен 0, то пространство полностью сжимается, по крайней мере, по одному измерению, что приводит к потере всего объема.
Если определитель равен 1, то преобразование сохраняет объем.
Следующий…
В следующей статье я расскажу о некоторых фундаментальных концепциях теории вероятностей. Если вы хотите, чтобы я написал еще одну статью, подробно объясняющую тему, оставьте, пожалуйста, комментарий.
Чтобы просмотреть содержание и другие материалы, нажмите здесь.
