В мире математики вы, должно быть, слышали термины собственное значение и собственный вектор.
Какие они? И их вообще важно изучать?
Прежде чем ответить на них, давайте посмотрим, что это такое и как другие люди использовали концепции собственного значения и собственного вектора.
Перед этим проясните следующие понятия:
матрица: матрица - это представление скалярного преобразования в n-мерном пространстве.
скаляр: постоянное значение.
вектор: это двухмерная линия, указывающая в определенном направлении в пространстве.
В этой анимации выше мы видим матрицу 2 на 2, преобразующую наши единичные векторы в различный масштаб. Также вы можете видеть, что почти все векторы изменили свое направление.
Но ждать! Не все сменили направление.
Есть несколько векторов или нет ни одного, который просто масштабируется до этого линейного преобразования, но не меняет направления.
Таким образом, можно идеально использовать эти векторы для представления всей матрицы линейного преобразования. Обратите внимание, как розовый и синий векторы только масштабируются, но не меняют направления.
Также взгляните на эту анимацию во всех четырех квадрантах. Обратите внимание, как розовый и синий векторы только масштабируются, но не меняют направления.
Рассмотрим матрицу линейного преобразования A и предположим, что существует такой вектор x, что линейное преобразование, примененное к этому вектору, приведет только к масштабированию этого конкретного вектора.
Но направление вектора остается прежним. т.е.
Если лямбда является скалярной (константой), то мы можем сказать, что x - собственный вектор, а лямбда - собственное значение.
Другими словами, если векторное пространство V конечномерно, то линейное преобразование T может быть представлено как квадратная матрица A, и вектор x на вектор-столбец, отображая приведенное выше отображение как матричное умножение в левой части и масштабирование вектора-столбца в правой части уравнения
Собственные значения и собственные векторы занимают важное место при анализе линейных преобразований. Префикс eigen- заимствован от немецкого слова eigen, означающего «правильный», «характерный».
Один из примеров, который следует подумать о собственном векторе, - это ось вращения кубической структуры. Ось вращения не изменится, даже если куб увеличен или уменьшен. Таким образом, ось вращения в этом случае является одним собственным вектором.
Итак, следующий вопрос: как используются собственные значения и векторы в машинном обучении?
Что ж, машинное обучение требует большого количества данных. Если каким-либо образом мы сможем уменьшить размер данных без потери фактического представления этих значений, тогда это кусок пирога для программистов.
Всю матрицу можно суммировать как произведение скаляра и вектора.
Фактически, PCA использует этот метод для эффективного представления нескольких столбцов меньшему количеству векторов путем нахождения линейной комбинации между ними и оценки для них собственных значений и собственных векторов.
Вы можете потерять интерпретируемость, но репрезентативная способность останется прежней.
Кто вообще использовал собственные значения и собственные векторы в истории?
В 18 веке Эйлер изучал вращательное движение твердого тела и обнаружил важность главных осей. Лагранж понял, что главные оси являются собственными векторами матрицы инерции.
В начале 19 века Коши увидел, как их работа может быть использована для классификации квадратичных поверхностей, и обобщил ее на произвольные размеры.
Фурье использовал работы Лапласа и Лагранжа для решения уравнения теплопроводности путем разделения переменных в своей знаменитой книге 1822 года. Примерно в то же время Бриоски доказал, что собственные значения ортогональных матриц лежат на единичной окружности.
Шварц изучил первое собственное значение уравнения Лапласа в общих областях к концу XIX века, а Пуанкаре изучил уравнение Пуассона несколькими годами позже.
В начале 20 века Гильберт изучал собственные значения интегральных операторов, рассматривая операторы как бесконечные матрицы. Он был первым, кто использовал немецкое слово eigen, что означает «собственный».
Первый численный алгоритм для вычисления собственных значений и собственных векторов появился в 1929 году, когда фон Мизес опубликовал степенной метод. Один из самых популярных сегодня методов.
Вот лишь некоторые из множества вариантов использования собственных векторов и собственных значений:
- Использование разложения по сингулярным числам для сжатия изображений. Это примечание, объясняющее, как можно сжать и отобразить, отбросив небольшие собственные значения AA ’. Он берет 8-мегапиксельное изображение аллозавра и показывает, как оно выглядит после сжатия, выбирая 1,10,25,50,100 и 200 из самых больших сингулярных значений.
- Вывод специальной теории относительности более естественен на языке линейной алгебры. Фактически, второй постулат Эйнштейна действительно утверждает, что Свет является собственным вектором преобразования Лоренца. В этом документе подробно рассматривается полный вывод.
- Спектральная кластеризация. Будь то растения и биология, медицинская визуализация, бизнес и маркетинг, понимание взаимосвязей между областями на Facebook или даже криминология, кластеризация - чрезвычайно важная часть современного анализа данных. Это позволяет людям находить важные подсистемы или закономерности внутри зашумленных наборов данных. Одним из таких методов является спектральная кластеризация, в которой используются собственные значения графа сети. Даже собственный вектор второго наименьшего собственного значения матрицы Лапласа позволяет нам найти два самых больших кластера в сети.
- Снижение размерности / PCA. Главные компоненты соответствуют наибольшим собственным значениям A’A, и это дает проекцию с наименьшим квадратом на меньшее измерение.
Надеюсь, вам понравится статья. Комментируйте в разделе комментариев к новым статьям.
