Математика, лежащая в основе машинного обучения, очень интересна, а линейная алгебра лежит в основе науки о данных. В математике нет ничего страшного, если строительные блоки выложены правильно. Моя мотивация написать эту статью - создать интуитивное представление о собственных векторах и собственных значениях, которые часто используются в различных процессах машинного обучения. Вы можете обнаружить, что они используются в целом ряде контролируемых и неконтролируемых алгоритмов обучения.

Мы все могли выучить эти концепции в старшей школе, но с очень небольшим пониманием, так как большая часть усилий была потрачена на правильные вычисления.

Так что же такое собственный вектор? Прежде чем мы коснемся этого, давайте быстро разберемся, что мы подразумеваем под вектором и матрицей. Вектор - это не что иное, как объект, который движется в пространстве. Это пространство может быть физическим или пространством данных. Векторы могут использоваться для определения координатного пространства. Векторы, определяющие координатное пространство, известны как базисные векторы.

На рисунке ниже показаны два базисных вектора i и j, каждый единичной длины, которые образуют координатное пространство. Вектор r ’в этом координатном пространстве представлен на расстоянии 3i по оси x и 2j по оси y.

Это то, что мы называем системой координат, определяющей r ’. Нет причин, по которым мы не могли бы определить r ’, если бы существовало другое координатное пространство, в котором базисные векторы, создающие координатное пространство, не имели бы единичной длины и не были перпендикулярны друг другу.

Матрица - это просто преобразование, которое работает с вектором, и не более того. Он может растягивать, вращать и сдвигать наш вектор. Матрица просто сообщает нам, куда идут наши базисные векторы.

Собственные значения и собственные векторы

Продвигая вышеупомянутую концепцию еще на один шаг. Когда мы применяем преобразование, мы просто ищем векторы, лежащие в одной плоскости, они известны как собственные векторы. Мы измеряем их длину, и они известны как собственные значения.

or

Собственные векторы - это векторы, которые лежат в одной плоскости до и после преобразования, а собственные значения - это просто величина, на которую растянулись собственные векторы.

При применении матричного преобразования мы часто думаем, что оно применяется к одному вектору, но не будет преувеличением думать, что матричное преобразование применяется ко всем векторам в пространстве. Это можно представить на следующем рисунке, который проясняет ситуацию.

Квадрат представляет собой векторное пространство. Я выделяю только 3 вектора в векторном пространстве, чтобы объяснить концепцию. Однако преобразование будет применяться к каждому вектору в этом векторном пространстве (квадрат). Когда мы применяем горизонтальное матричное преобразование, векторное пространство растягивается по горизонтали. Теперь мы видим, что зеленый и красный вектор остаются там, где они есть, но оранжевый вектор удаляется от своего диапазона. Красный и зеленый векторы известны как собственные векторы. На самом деле нетрудно увидеть, что зеленый и красный - единственные векторы, которые не уйдут от своего диапазона. Красный вектор хотя и остался на своей длине, но изменил свой размер. Это изменение размера собственного вектора, известного как его собственное значение. На приведенном выше рисунке было применено только горизонтальное растяжение на 2 единицы. Следовательно, красный вектор имеет собственное значение 2, а зеленый имеет собственное значение 1.

Давайте рассмотрим еще два классических примера, чтобы убедиться, что мы можем обобщить то, что узнали.

Давайте применим чистую чистоту и посмотрим, что произойдет. Надеюсь, вы заметили, что только зеленая горизонтальная линия осталась в исходном положении, а все остальные переместились. Следовательно, у него только один собственный вектор.

Наконец, давайте посмотрим на вращение. Как видите, это преобразование не имеет собственных векторов.

Давайте посмотрим на два преобразования специального типа, в которых все векторы являются собственными векторами.

Равномерное масштабирование. Это просто линейное преобразование, при котором векторы масштабируются на одинаковую величину во всех направлениях. Как вы могли заметить, собственными векторами являются не 3 вектора, а все векторы, охватывающие это пространство, являются собственными векторами.

Поворот на 180: если мы снова сделаем поворот на 180 градусов, мы увидим, что все векторы являются собственными векторами (все в одной плоскости до преобразования и после), но будут иметь собственное значение -1, поскольку все они указывают в противоположном направлении.

Это все, ребята !!! это все, что вам нужно знать о собственных значениях и собственных векторах. В следующем посте я расскажу о его применении и о том, как мы можем использовать собственные векторы и собственные значения для ускорения вычислений.