Улучшение плохо обусловленной матрицы

В дискретной обратной теории добавление небольшого значения c к диагонали матрицы A, которую нужно инвертировать, называется демпфированием инверсии, а небольшое добавляемое значение c называется коэффициентом Марквардта-Левенберга. Иногда матрица A имеет нулевые или близкие к нулю собственные значения, из-за чего матрица становится вырожденной; добавление небольшого коэффициента демпфирования к диагональным элементам делает его устойчивым. Чем больше значение c, тем больше демпфирование, ваша инверсия матрицы более стабильна, но вы дальше от истинного решения. Чем меньше значение c, тем меньше демпфирование, тем ближе ваша инвертированная матрица к истинной инвертированной матрице, но она может стать нестабильной. Иногда используется один метод «адаптивного демпфирования»: начните с тестового значения c, инвертируйте матрицу A, затем уменьшите значение c, снова выполните инверсию и так далее. остановитесь, когда вы получите странные значения в перевернутой матрице из-за того, что A снова станет единственным, как действительно большие числа. Я думаю, что это не совсем ответ на ваш вопрос, но это было слишком долго, чтобы поместить его в комментарий.

Как уже отмечалось в комментариях, ответ на ваш вопрос в решающей степени зависит от вашего приложения. Может быть, добавление малого кратного единичной матрицы — правильное решение, а может быть, и нет. Для того, чтобы это определить, вам нужно рассказать нам: Как возникла эта матрица? А для чего нужен обратный?

Два распространенных случая:

• Если вы точно знаете матрицу A, например. поскольку это матрица проектирования в общей линейной модели b = A * X, ее изменение не является хорошей идеей. В этом случае матрица определяет линейную систему уравнений, и если матрица сингулярна, то это означает, что у этой системы нет единственного решения. Чтобы выбрать одно из бесконечного множества возможных решений, существуют разные стратегии: X = A \ b выбирает решение с максимально возможным количеством нулевых коэффициентов, а X = pinv(A) * b выбирает решение с минимальной нормой L2. См. примеры в документации pinv.

• Если матрица A оценивается по данным, например. матрица ковариации для классификатора LDA, и у вас есть основания полагать, что истинное значение не является сингулярным, а сингулярность возникает просто из-за отсутствия достаточного количества точек данных для оценки, а затем применить регуляризацию или «усадку», добавив небольшое кратное Матрица идентичности является общей стратегией. В этом случае Шефер и Стриммер (2005) описывают способ оценки оптимального коэффициента регуляризации. из самих данных.

Но я уверен, что есть и другие случаи с другими ответами.

Добавление небольших значений к диагонали A примерно эквивалентно введению термина L2-нормы регуляризации в задача наименьших квадратов Ax=b. То есть каждый стремится минимизировать остаток, а также добавленное ограничение:

min ||Ax-b||^2 + lambda*||x||^2

где lamdba управляет весом, придаваемым минимизации ограничения по сравнению с минимизацией нормы невязки.

Обычно этот параметр выбирается с использованием какого-либо метода перекрестной проверки.