ОПРЕДЕЛЕНИЕ Машинное обучение
Процесс обучения человека слишком сложен и трудно поддается определению, поскольку охватывает более широкий спектр процессов. Но есть явное сходство между человеческим обучением и машинным обучением. Многие методы машинного обучения основаны на психологических моделях. Люди обычно учатся на собственном опыте и склонны менять поведение в зависимости от окружающей среды. И всегда были вопросы о том, как сделать машину разумной, как люди.
Популярное определение машинного обучения было дано Томом Митчеллом в 1977 году как ответ на этот вопрос.
«Как мы создаем компьютерные программы, которые улучшаются с опытом? “
«Говорят, что компьютерная программа учится на опыте E в отношении некоторого класса задач T и показателя производительности P, если ее производительность при выполнении задач в T, измеряемая P, улучшается с опытом E».
Грубо говоря, обучение — это процесс преобразования опыта в знания. Вводом в машину будут обучающие данные или опыт, а выводом будет опыт, которым может быть другая компьютерная программа, способная выполнять другую задачу.
Когда мы начинаем учиться заставлять машину учиться, было очевидно, что успешный ученик должен уметь превращать индивидуальный опыт в обобщение. Другими словами, он должен иметь возможность маркировать невидимые данные на основе выводов из опыта. Это называется индуктивным умозаключением или индуктивным выводом. Например, детектор СПАМа должен уметь находить шаблоны и идентифицировать входящую почту как СПАМ или НЕ СПАМ на основе вывода. Однако этот тип индуктивного вывода может привести к ложным предсказаниям, поскольку могут быть бессмысленные выводы по обучению. Как люди, мы применяем наш здравый смысл, чтобы отфильтровать эти бессмысленные выводы об обучении, и аналогичным образом, создавая машины, способные к обучению, мы также должны предоставить строгие принципы, чтобы сделать машину способной удалять такие ложные выводы.
Когда мы применяем предыдущий опыт в обучении, это означает, что выводы имеют сильный уклон в сторону обучения, тогда это называется индуктивным уклоном, что означает, что это обучение в основном опирается на предыдущий опыт, чтобы найти некоторые закономерности, и имеет тенденцию игнорировать любую другую взаимосвязь между событиями. или, исходя из здравого смысла.
И говоря о необходимости машинного обучения, при проверке программ, которые могут учиться и предвзято относиться к их опыту обучения, будут отмечены два аспекта, а именно сложность и адаптируемость.
Когда нам нужно машинное обучение?
Когда машине нужно чему-то научиться, а не просто программировать ее для выполнения определенной задачи? Как было сказано ранее, это зависит от двух аспектов, которые определяют эффективность опыта. Это сложность и необходимость адаптации
Задачи, которые слишком сложны для выполнения с помощью обычных прикладных программ, таких как распознавание речи, обработка изображений или задачи, которые выходят за рамки человеческих возможностей, такие как анализ очень больших данных, будут достаточны для нужд машинного обучения.
Еще один недостаток традиционного программирования. заключается в их жесткости, потому что однажды запрограммированные на выполнение определенных задач, изменить образ действий очень сложно. но когда характер задач меняется и потребность в адаптивности приводит нас прямо к машинному обучению.
Почему машинное обучение сейчас на пике популярности?
Машинное обучение берет свое начало с конца 1950-х годов, но в последние годы наблюдается всплеск интереса к нему. Организации почти во всех областях изучают возможности машинного обучения, чтобы больше двигаться к интеллектуальному объекту, а не к объекту, ориентированному на практику. Так что же произошло между ними?
Что ж, ранние этапы машинного обучения в основном сосредоточены на шаблонах из больших данных или выводов, сложном наборе процедур для получения шаблонов выводов о большой совокупности на основе некоторых небольших выборок, которые мы назвали классической статистикой. Примерно в 1960–1970-х годах анализ данных развивался с выводом как только компонентом, придавая большее значение исследовательскому анализу и формируя более устойчивую науку о данных. Исследование является ключевым и первым шагом в науке о данных, когда все данные будут подвергаться анализу. Проблемы заключались в доступности данных, вычислительной мощности и эффективности алгоритма для проведения такого исследовательского анализа. Прогресс в области информационных технологий и аппаратного обеспечения стимулирует процесс EDA и методы обработки данных. Это факторы, лежащие в основе того, почему мы наблюдаем, как нынешние процветают в направлении интеллектуальных решений.
Где сейчас находится наука о данных?
Наука о данных – это междисциплинарная область, в которой используются научные методы, процессы, алгоритмы и системы для извлечения знаний и идей из данных в различных формах, как структурированных, так и неструктурированных, подобно интеллектуальному анализу данных. ~Википедия
Наука о данных — это область, в которой мы применяем «науку» к доступным «данным», чтобы получить «шаблоны» или «понимание», которые могут помочь бизнесу оптимизировать операции или импровизировать решения.
Оставив в стороне все модные слова, наука о данных — это правильное сочетание анализа данных, моделирования решения и проектирования. Без знания области бизнеса, операционных моделей организации наука о данных может быть только экспериментом, впустую потраченным временем и деньгами. Если вы сможете правильно применять техники в нужном месте и в нужное время, это тоже может изменить правила игры.
На следующем рисунке показаны шаги в традиционном путешествии по науке о данных.
Все начинается со сбора данных или этапа приема, когда различные типы данных будут собираться и храниться для обработки. В некоторых сценариях реального времени это будет происходить с хранилищем данных или корпоративным озером данных. Собранные таким образом данные будут очищены и разработаны для определения переменных, необходимых для машинного обучения. Разработка функций требует опыта в сфере бизнеса, чтобы найти лучшие функции для создания моделей машинного обучения. Это самый важный и дорогостоящий шаг в процессе машинного обучения, потому что от него будет зависеть качество ваших выходных моделей.
Далее будет этап описательного анализа, где будут применяться математические методы для нахождения корреляций между этими функциями и определения важности данных для дальнейшей обработки. Enterprise Data Analysis или EDA поможет найти закономерности, аномалии и проверить предположения по данным. Как только вы получите правильное представление о своих данных, вы будете готовы выполнить некоторые действия по машинному обучению, которые дадут вам результирующее представление ваших данных. Результаты, полученные в результате этого машинного обучения, могут быть некоторыми прогнозами, оценками или прогнозами и так далее. Эти полученные данные можно передать в визуализацию для получения информации или интегрировать с вашими приложениями для решений, основанных на данных.
Итак, как заниматься наукой о данных?
Все зависит от данных. Наука о данных — это не готовое решение, которое можно применять во всех случаях использования в вашем бизнесе. Каждый из них требует тщательного понимания данных, надлежащего анализа и моделирования для получения требуемого результата. Если мы не уделяем внимания данным, сфере бизнеса и проблеме, которую пытаемся решить, наука о данных вполне может обернуться катастрофой. Как я уже сказал, в науке о данных нет строгих шагов, но наиболее рекомендуемый способ — это пойти следующим образом.
- Понимание бизнеса
2. Собирайте и исследуйте данные
3. Подготовьте и обработайте данные
4. Создайте и проверьте модели
5. Развертывание и мониторинг производительности
Хорошо, теперь немного о профессии Data и машинном обучении:
Я надеюсь, что теперь стало ясно о науке о данных и машинном обучении, а также о том, почему изучение машинного обучения важно в профессиях, связанных с данными. Чтобы получить правильное сочетание технологий и бизнеса, вам необходимо применять навыки машинного обучения в правильных областях. На пути к интеллектуальной организации машинное обучение поможет получить эти когнитивные способности, если у вас есть видение и правильные методы.
Нет четко определенных обязанностей, которые каждый из специалистов по данным должен или может только выполнять. Но существуют некоторые рекомендации. Например, ваш специалист по данным должен иметь возможность сосредоточиться на когнитивной области приложения, чтобы предоставить методы оптимизации для алгоритмов, выбрать правильные параметры и точно настроить приложения, где инженер данных может больше сосредоточиться на аспекте платформы и реализации алгоритмы, предложенные или разработанные Data Scientist. Сочетание предметной области и технологии может начинаться от аналитика данных и заканчиваться ниже.
Итак, как начать изучать машинное обучение?
Что ж, если вы считаете, что машинное обучение такое же, как и любое другое программирование, подобное тому, что вы делаете на Java, вам может не понадобиться знать все концепции и детали каждого алгоритма и инструментов, но вы должны иметь общее представление о том, как работают общие алгоритмы машинного обучения. Работа. Каждый аспект машинного обучения очень тесно связан с данными, а данные очень важны. Без данных опыт никогда не будет достигнут. Можно также немного изучить математику, в основном, как вывести опыт из данных, и, следовательно, изучение математики поможет вам понять, как заставить машину учиться так же, как вы.
Заключительные примечания: ИИ и машинное обучение
Сегодня существует много путаницы в отношении искусственного интеллекта, глубокого обучения и машинного обучения. Это всего лишь часть искусственного интеллекта.
Искусственный интеллект — это область исследований по созданию вычислительных машин, способных к разумному поведению, или созданию интеллектуальных агентов. Эти интеллектуальные агенты могут быть аппаратными или программными средствами, которые наблюдают за окружающей средой и предпринимают действия, направленные на достижение максимального успеха.
И как подмножество, машинное обучение позволяет или расширяет возможности компьютеров решать проблемы без программирования. Машинное обучение — это способ заставить компьютер создать программу, которая будет выдавать некоторый результат на основе известного ввода, а затем выдавать более интеллектуальный вывод для другого, но похожего ввода. Эти детали мы обсудим в следующей главе:
