Передаточные функции для машинного обучения, упрощенные

Введение в передаточные функции

Эта статья - отрывок из моего недавнего исследования передаточных функций и операций машинного обучения. В этом посте я, в основном, установлю основные принципы этих двух различных концепций и исследую их взаимосвязь друг с другом.

Я всегда понимал алгоритмы машинного обучения как простую взаимосвязь между переменной X и Y, где X - входные данные, а Y - результат обучения. Общая полиномиальная связь между X и Y ограничена следующей функцией:

В случае, когда у нас есть только один входной шаблон, на котором можно учиться, мы можем моделировать данные с помощью полимерной регрессии. Все, что нам нужно контролировать, - это значение n (порядок полинома). Когда n равно 2, мы можем сказать, что приведенное выше уравнение сводится к квадратному уравнению, приведенному ниже:

Далее следует ввести данные в алгоритм, и алгоритм найдет наилучшее значение для A, B и C в зависимости от решаемой проблемы, будь то классификация или регрессия.

Но что, если у нас есть проблема с несколькими входными данными или функциями - как мы смоделируем это математически? У нас есть уравнение ниже:

Вышеприведенное линейное уравнение подразумевает, что каждая модель машинного обучения математически следует аналогичным шаблонам. Модель полностью реплицирует данные тогда и только тогда, когда она смогла оптимально определить значения параметра функции и наилучшее значение вектора смещения, которое наилучшим образом представляет данные.

По сути, модель машинного обучения - это либо линейная, либо нелинейная функция, которая сопоставляет входную функцию с соответствующим выходным результатом.

Схема выше четко объясняет рабочий процесс машинного обучения - как модель учится на своих входных данных, чтобы достичь цели. Оптимальная производительность смоделированных данных может быть достигнута только при наличии хорошей корреляции или точки привязки между параметрами входных данных и их целевым значением. В противном случае возникнут трудности в процессе обучения.

В частности, модель можно назвать «хорошей», если (и только если) есть шаблоны, которые нужно изучить, и указанная модель смогла их понять. Это плохая модель, если (и только если) нет закономерностей из-за нерегулярной корреляции между точками входных данных и целевой целью.

Я оставлю вас с этой фразой: ваша модель настолько хороша, насколько ваши данные соответствуют цели.

Понятие передаточных функций

Передаточная функция - это системная / математическая функция, которая моделирует выход системы по отношению к соответствующему входу. В основном это термин, используемый при моделировании электрических устройств с определенными характеристиками.

Проще говоря, например, желательные электронные / электрические системы моделируются математически с использованием передаточных функций, чтобы иметь возможность получить желаемый выходной сигнал. В конечном итоге физически смоделированная система представляет собой пассивное устройство с известными характеристиками / откликами (например, конденсаторы, резисторы, катушки индуктивности). Наконец, он переупорядочен, чтобы обеспечить желаемую общую реакцию системы ввода-вывода.

Задачу машинного обучения проще всего смоделировать как один вход к одному выходу (SISO). У нас также могут быть более сложные модели с несколькими входами и несколькими выходами (MIMO). Так же, как у нас есть эти системы в машинном обучении, мы также видим их в передаточных функциях.

Рассмотрим фундаментальные проблемы машинного обучения, такие как классификация или регрессия - в основном системы от нескольких входов до одного выхода (MISO). Можно ли сказать, что у нас есть такие системы в передаточных функциях? Да, это возможно. Но давайте более внимательно рассмотрим SISO, которые являются основой передаточных функций.

Объяснение передаточных функций

Передаточные функции - это математические функции, которые моделируют выход y (t) (функция, изменяющаяся во времени) системы по отношению к входу x (t). Здесь важно отметить, что входные данные имеют обозначение, обозначающее их шаблон, как и выходные данные. Передаточная функция в основном пытается найти математическую связь между входным шаблоном и желаемым шаблоном (выходом).

Давайте рассмотрим небольшой пример, чтобы увидеть это на практике. Например, если у вас есть система (желательно), характеристическое уравнение которой задается y (t), и другая система характеристического уравнения x (t), и вы хотите получить y (t) из x (t), вы должны нужна передаточная функция, чтобы связать две системы:

x (t) и y (t) - два разных параметра с разными характеристиками, но мы считаем, что между ними существует связь.

Передаточная функция может пригодиться, чтобы связать эти две отдельные системы, так что мы можем получить y (t), используя передаточную функцию (или наоборот). Передаточные функции - это в основном решения, представленные в частотной области. Частотная область относится к аналитическому пространству, в котором математические функции или сигналы передаются в терминах частоты, а не времени.

Функции временной области - это математические функции, производные от времени, как и x (t) и y (t). Точно так же функции частотной области - это функции, выраженные относительно частоты.

Мы часто переходим в частотную область, потому что в частотной области проблемы решаются легко по сравнению с использованием временной области. Во временной области изменения амплитуды чрезмерно подчеркнуты, но в частотной области отклик системы представлен как функция частоты.

Большинство систем, которые вы хотите моделировать, определенно необходимо представить как систему во временной области (то есть систему, которая изменяется во времени). Но прийти к желаемому решению может быть сложно при решении относительно времени.

К счастью, решить такую систему в частотной области проще, чем решить ту же систему во временной области. Поэтому нам необходимо иметь возможность представить такие системы в частотной области, а затем преобразовать решение обратно во временную область.

Один из способов сделать это - использовать преобразования Лапласа. Преобразование Лапласа функции x (t) в функцию X (s) частотной области определено ниже. Для входной функции x (t) и выходной функции y (t) у нас есть.

Здесь мы можем задать вопрос: что такое s? "S" в основном называется "s-плоскостью" на какие преобразования Лапласа изображены на графике. Это комплексная плоскость, где σ представляет значение на действительной линии, а ω - значение на оси j (мнимая ось).

Передаточная функция H (s) относительно X (s) и Y (s) обозначается как:

Используя symbolab, решение x (t) и y (t), предполагающее, что все начальные условия равны нулю, задается как:

Мы можем сказать, что изменяющаяся во времени модель решения, которая связывает x (t) и y (t), просто задается как:

Сравнение и отношения

Функции передачи в основном работают для любой изменяющейся во времени системы - это может быть любая форма представления сигнала - и используются в качестве метода обработки сигналов для обработки изображений и других приложений компьютерного зрения. Это работает до тех пор, пока вы можете точно смоделировать систему.

По сути, они оба определяют закономерности между точками входных и выходных данных. У них обоих есть свои подходы к оптимизации, но разные техники.

Передаточные функции используют технику частотной области для определения шаблона; а модели машинного обучения используют функции активации и примитивные метрики в шаблонах обучения.

Заключение

В заключение следует отметить кое-что: модель машинного обучения действительно обрабатывает набор входных данных по отношению к целевому выходу, но передаточные функции позволяют нам моделировать один вход или несколько выходных данных.

Здесь я подчеркиваю ситуацию с одним входом / одним выходом, потому что на самом деле мы можем иметь оптимизированную передаточную функцию, которая имитирует шаблон в одной функции по отношению к желаемому выходу.

Каждый входной объект имеет шаблоны в представлении данных, которые можно преобразовать в функцию временной области, что помогает объяснить шаблон этого особого объекта. Если у нас есть это, то мы можем смоделировать взаимосвязь между этим единичным входом по отношению к желаемому результату или шаблону (функция, изменяющаяся во времени).

Спасибо за прочтение.

Ссылка

Примечание редактора. Heartbeat - это онлайн-публикация и сообщество, созданное авторами и посвященное предоставлению первоклассных образовательных ресурсов для специалистов по науке о данных, машинному обучению и глубокому обучению. Мы стремимся поддерживать и вдохновлять разработчиков и инженеров из всех слоев общества.

Являясь независимой редакцией, Heartbeat спонсируется и публикуется Comet, платформой MLOps, которая позволяет специалистам по данным и группам машинного обучения отслеживать, сравнивать, объяснять и оптимизировать свои эксперименты. Мы платим участникам и не продаем рекламу.

Если вы хотите внести свой вклад, отправляйтесь на наш призыв к участникам. Вы также можете подписаться на наши еженедельные информационные бюллетени (Deep Learning Weekly и Comet Newsletter), присоединиться к нам в » «Slack и подписаться на Comet в Twitter и LinkedIn для получения ресурсов, событий и гораздо больше, что поможет вам быстрее создавать лучшие модели машинного обучения.