Это 107-й день моей серии Дневник машинного обучения (MLD).
Сегодня я закончил TODO из Дня 99, Дня 104 и Дня 105.
Визуализация персептрона
Давайте подумаем о том, как персептрон классифицирует следующую точку данных x как положительную.
Математически x классифицируется как положительный, потому что wx положительный. Что это означает геометрически? Рассмотрим вектор от начала до любой точки на границе решения. Назовем этот вектор x’.
Поскольку граница решения определяется как wx=0 и x’ находится на этой границе, wx’=0.
Теперь, если мы подставим это b в wx, мы получим следующее:
Назовем это ‹(x1-x’1), (x2-x’2)› вектором x’’.
Следовательно, wx = wx’’. wx’’ положителен, если угол между w и x’’ меньше 90 градусов.
Проклятие размерности
[Reference] Typical Sets and the Curse of Dimensionality 次元の呪いについて再考
Наблюдение 3
Представьте, что есть случайное распределение внутри двумерного круга радиуса r. Когда мы удалим внутреннюю окружность радиусом 0,9r, сколько данных останется? Оказывается, в оставшейся области останется 19% данных.
Другими словами, 19% случайно распределенных данных находятся по углам круга. В общем, это отношение выражается следующим образом в размере d.
По мере роста d отношение стремится к 1. Другими словами, большая часть данных будет находиться на поверхности d-мерного куба, когда d очень велико.
Это все на сегодня. Я все еще не совсем уверен в деталях проклятия размерности, но пока пойду дальше.
