Введение

В последние несколько лет искусственный интеллект (ИИ) становится все более распространенным и мощным. В настоящее время во многих выступлениях, посвященных ИИ, объясняется, как эти технологии можно использовать для прогнозирования цен на акции и создания ценности для организации. Фактически, даже онлайн-курсы, предназначенные для обучения новичков в этой области, сосредоточены на финансовых преимуществах ИИ.

В сегодняшнем материалистическом мире я хотел бы сосредоточиться на том, как те же самые технологии могут быть использованы для прогнозирования стихийных бедствий и, в конечном итоге, увеличения выживаемости и улучшения качества жизни.

Бедствия, вызванные природными явлениями, присутствовали на протяжении всей истории человечества; тем не менее, их последствия с каждым разом все больше. Эта тенденция не изменится в ближайшие годы; напротив, ожидается, что стихийные бедствия увеличатся по количеству и интенсивности из-за глобального потепления.

Согласно мировой статистике, рост числа мировых катастроф за десятилетия 1987–1996 и 1997–2006 гг. увеличилось с более чем 600 000 до более чем 1 200 000). Источник: Использование машинного обучения для извлечения информации из новостей о стихийных бедствиях

За последние 30 лет более девяти миллионов австралийцев пострадали от стихийных бедствий или экстремальных погодных явлений. И ожидается, что число пострадавших ежегодно будет расти, так как интенсивность, а в некоторых районах и частота этих явлений продолжает расти. Эти затраты включают значительные и часто долгосрочные социальные последствия, включая смерть и травмы, а также воздействие на занятость, образование, общественные сети, здоровье и благополучие. Источник: стихийные бедствия в Австралии

Люди пытались предсказать землетрясения, по крайней мере, с первого века в Китае, когда они использовали это устройство: похожее на банку, с металлическими драконами, обращенными в каждом направлении компаса, и окруженными лягушками с открытыми ртами. Если земля тряслась где-то в этом районе, металлический шарик из пасти дракона выпадал в пасть лягушки, примерно указывая направление землетрясения. Многие подобные прогнозы на самом деле звучали разумно, но после некоторых исследований был сделан вывод, что эти вещи являются природными явлениями, практически не связанными с землетрясениями. Источник: 7 способов, которыми люди пытались предсказать землетрясения

Однако ИИ полагается исключительно на данные.

Несколько исследователей создают свои собственные приложения для прогнозирования землетрясений и афтершоков. Кроме того, эти системы также отслеживают старение инфраструктуры. ИИ может обнаруживать деформации в конструкциях, которые можно использовать для уменьшения ущерба, вызванного обрушением зданий и мостов или оседанием дорог.

В этой статье вы прочтете о реальном примере спасения большего количества жизней с помощью искусственного интеллекта: как изучить стихийное бедствие и как использовать это наблюдение, чтобы спасти больше жизней.

Землетрясения в Непале

В апреле 2015 года произошло землетрясение магнитудой 7,8 с эпицентром в районе Горкха в Непале. Катастрофа унесла жизни почти 9000 человек и ранила 22000. Этот ужас в большинстве случаев был вызван разрушенными при землетрясении зданиями.

Многие специалисты по обработке и анализу данных усердно работали над повышением вероятности выживания при следующем землетрясении. Наша миссия — создать прогнозную модель машинного обучения для исследования и понимания рисков ущерба в случае другого стихийного бедствия. Результат наших выводов доступен для смягчения последствий того, какие здания могут нуждаться в укреплении перед следующим землетрясением. Тем самым можно было бы спасти не только мемориальные здания и дома, но и тысячи жизней.

Что такое наука о данных?

Наука о данных — это всего лишь общий термин, он относится к выяснению способов изучения и решения проблем с данными. Чтобы сделать это эффективно, вам нужен ряд навыков: информатика, математика, статистика и в какой бы области вы ни работали, вам нужен опыт в этой области. Например, для этого проекта вам может понадобиться понимание архитектуры и своего рода прогнозирование стихийных бедствий.

Специалисты по данным абсолютно одержимы данными. Первое, что мы всегда делаем, если нам нужно решить проблему, это то, что мы ищем все возможные источники данных, которые мы можем использовать для решения этой проблемы.

Теперь нам нужно выяснить, как мы получаем данные, как мы можем поместить их в какую-то систему, например в хранилище данных, Databricks или, может быть, в Azure Machine Learning Studio.

Но, конечно, данные не всегда поступают в том виде, на который мы рассчитывали, поэтому нам, возможно, придется потратить много времени на преобразование, очистку, изменение формы и так далее. Затем нам нужно понять взаимосвязи в наборе данных, например, что данные пытаются рассказать нам о проблеме, которую мы пытаемся решить, какие функции или переменные на самом деле кажутся полезными, а какие могут просто добавить шума в анализ. ситуация.

И, наконец, мы собираемся провести некоторую прогнозную аналитику или моделирование, и благодаря этому мы надеемся вернуть ценность нашим клиентам или конечным пользователям, что поможет им принимать решения и делать их еще лучше.

Машинное обучение

Я часто вижу путаницу в терминах «машинное обучение» и «ИИ». Позвольте мне пояснить, как они связаны друг с другом.

Искусственный интеллект (ИИ) — это метод, который позволяет компьютерам имитировать человеческий интеллект. Он включает в себя машинное обучение, которое является частью искусственного интеллекта. Машинное обучение включает в себя такие методы, как глубокое обучение, которое представляет собой нейронные сети, позволяющие машине обучаться самостоятельно. С помощью методов машинного обучения мы можем позволить машинам совершенствоваться в задачах с опытом.

Но как можно обучить машину?

Обучение можно определить как «процесс приобретения знаний. Люди учатся по-разному, но все требуют опыта, в то время как у людей есть способность рассуждать, у компьютеров нет такой способности, поэтому они учатся с помощью алгоритмов.

Контролируемое обучение обычно включает в себя набор меток вместе с данными, здесь «алгоритм генерирует функцию, которая сопоставляет входные данные с желаемыми выходными данными». Этот тип обучения обычно используется для задач классификации и регрессии, например, его можно использовать для классификации того, находится ли здание в опасности, когда произойдет новое землетрясение.

Неконтролируемое обучение не связано с метками, а включает только входные данные, а это означает, что модель должна найти структуру или закономерности в самом наборе данных. Общие методы включают кластеризацию и уменьшение размерности. Техника неконтролируемого обучения может использоваться, например, при распознавании речи.

Обучение с подкреплением — это когда алгоритм изучает политику того, как действовать, учитывая наблюдение за миром. Каждое действие оказывает некоторое влияние на окружающую среду, а окружающая среда обеспечивает обратную связь, которая направляет алгоритм обучения. Этот метод обычно используется в автономном вождении или разработке игр.

Модели машинного обучения обычно имеют итеративный характер и включают четыре этапа. Позвольте мне набросать основные шаги, которые необходимо предпринять при работе с моделью машинного обучения:

Подготовка данных. Мы загружаем данные в какую-либо систему и подготавливаем их для обучения. Данные могут поступать из разных источников, вообще говоря — в решениях для машинного обучения — чем надежнее данные, тем лучше. Шаг подготовки данных включает в себя очистку данных, их исследование и разделение.

  • Исследование данных помогает разработчикам понять набор данных и его структуру. Крайне важно интерпретировать, какие данные доступны и как их можно использовать для модели. Этот этап обычно включает проверку типа данных и понимание различных строк и столбцов в наборе данных.
  • После того, как набор данных понят, нерелевантные наблюдения могут быть удалены, так как они только добавят шумы в набор данных. Как правило, наборы данных включают пропущенные значения и дубликаты, в то время как дубликаты обычно удаляются, чтобы избежать предвзятой модели, пропущенные значения просто не понимаются многими алгоритмами.
  • Разделение (для обучения и тестирования данных данные обучения будут использоваться для обучения модели, и мы также можем оценить нашу модель с помощью тестовых данных)

Обучение модели. Обучение модели машинного обучения начинается с выбора конкретного алгоритма, с которым мы хотим настроить нашу модель.

  • Необработанные данные преобразуются в функции, которые может понять модель, или, другими словами, выполняется разработка функций, которая может включать генерацию функций, часто используемую для повышения надежности моделей машинного обучения.
  • После того, как цель того, для чего будет использоваться модель, ясна, известны доступные наборы данных вместе с задачей обучения, необходимо выбрать правильный алгоритм. Как правило, задачи машинного обучения можно решать разными способами, поэтому для одной и той же задачи обычно разрабатываются и сравниваются несколько решений, чтобы найти наиболее подходящее решение.
  • Существует несколько подходов к каждому из этих шагов, но выбор правильного алгоритма — довольно сложная задача, но Microsoft предоставляет нам шпаргалку, с которой мы можем ознакомиться перед тем, как приступить к работе.

Модель оценки: это процесс создания значений на основе обученной модели машинного обучения. Используется общий термин «оценка», а не «прогноз», потому что процесс оценки может генерировать очень много различных типов значений: список рекомендуемых элементов, числовые значения, прогнозируемый результат и т. д., в зависимости от того, какие данные вы предоставляете, и как вы обучаете модель.

Оценка модели. Оценка — это показатели, которые говорят вам, насколько хорошо работает ваша модель. Например, точность прогностической модели означает, насколько хорошо она предсказывает будущее.

И это бесконечный итерационный процесс, поскольку, когда во время оценки мы обнаруживаем, что наша модель работает недостаточно хорошо, вы должны начать заново с просмотра данных, возможно, с дальнейшей разработкой функций и настройкой гиперпараметров для повышения производительности!

Что мы хотим сделать, так это построить прогностическую модель, которая сможет ответить на наш вопрос, изучая предоставленные нами данные: какие здания будут в опасности, когда произойдет новое землетрясение?

Прогнозная аналитика занимается разработкой статистических моделей или моделей машинного обучения, которые прогнозируют. Эти модели откалиброваны на прошлых данных или опыте (функциях и ярлыках), они учатся на них предсказывать будущее.

Рабочая область машинного обучения Azure

Обучение машины может показаться какой-то черной магией, но благодаря инструментам, предоставляемым Azure, у вас есть возможность легко начать работу с машинным обучением, узнать о различных алгоритмах обучения, а затем понять, что говорит вам результат. использование Машинного обучения Azure.

Этот веб-интерфейс объединяет возможности обработки данных и ресурсы машинного обучения в единой веб-панели, которая оптимизирует рабочие процессы машинного обучения. Редакция Enterprise предназначена для специалистов по обработке и анализу данных с различными уровнями навыков, от написания кода без кода до работы с кодом.

Получите доступ к машинному обучению для всех навыков, чтобы повысить производительность

  • Быстро создавайте и развертывайте модели машинного обучения с помощью инструментов, которые соответствуют вашим потребностям независимо от уровня навыков.
  • Используйте конструктор без кода, чтобы начать работу с машинным обучением, или используйте встроенные блокноты Jupyter для первого опыта работы с кодом.
  • Ускорьте создание моделей с помощью пользовательского интерфейса автоматизированного машинного обучения и получите доступ к встроенным функциям проектирования, выбора алгоритма и многим другим функциям для разработки высокоточных моделей.

Масштабируемость операций с надежными MLOps

  • MLOps или DevOps для машинного обучения оптимизируют жизненный цикл машинного обучения, от построения моделей до развертывания и управления.
  • Используйте конвейеры машинного обучения для создания воспроизводимых рабочих процессов и используйте богатый реестр моделей для отслеживания ваших активов.
  • Управляйте производственными рабочими процессами в масштабе, используя расширенные оповещения и возможности автоматизации.

Воспользуйтесь встроенной поддержкой популярных инструментов и платформ с открытым исходным кодом для обучения моделей и создания логических выводов

  • Используйте знакомые фреймворки, такие как PyTorch, TensorFlow, scikit-learn и другие.
  • Выберите инструменты разработки, которые лучше всего соответствуют вашим потребностям, включая популярные IDE, блокноты Jupyter и интерфейсы командной строки или такие языки, как Python и R.

Создавайте ответственные ИИ-решения на надежной безопасной платформе

  • Получите доступ к новейшим технологиям для справедливости и прозрачности моделей. Используйте интерпретируемость модели для объяснения прогнозов, чтобы лучше понять поведение модели.
  • Уменьшите предвзятость модели, применяя общие метрики справедливости, то есть автоматически выполняя сравнения и используя рекомендуемые меры по снижению риска.
  • Безопасность корпоративного уровня с управлением доступом на основе ролей и поддержкой виртуальной сети для защиты ваших активов.
  • Контрольный журнал, возможности управления квотами и затратами для расширенного управления и контроля.

Ноутбуки

Записные книжки Azure ML — это полностью управляемое облачное решение для специалистов по обработке и анализу данных, позволяющее начать работу с машинным обучением, глубоко интегрированное с рабочими областями и хранилищами данных машинного обучения Azure. Он обеспечивает первоклассный опыт разработки моделей с помощью интегрированных записных книжек с использованием Azure Machine Learning Python и R SDK. С помощью ноутбуков мы можем использовать возможности управления и готовности предприятия для ИТ-администраторов.

Это делает вашу работу более продуктивной: вы можете легко создавать и развертывать модели с помощью встроенных блокнотов и популярных инструментов. Вы также можете строить эксперименты Automated ML (AutoML) из блокнотов. (Об AutoML поговорим в следующем разделе). Он позволяет совместно отлаживать модели и совместно использовать записные книжки в пределах рабочей области. Ноутбуки управляемы и безопасны. Форм-фактор управляемой ВМ обеспечивает соответствие требованиям корпоративной безопасности. Они предварительно настроены с использованием новейших пакетов машинного обучения, драйверов графического процессора и всего, что нужно специалистам по данным, чтобы сэкономить время на задачах настройки. Ноутбуки также полностью настраиваемые. Он обеспечивает широкую поддержку типов виртуальных машин Azure и постоянную низкоуровневую настройку.

Чтобы узнать, как использовать Блокноты для анализа данных об обрушившихся зданиях во время землетрясений, читайте подробнее в этой статье.

Дизайнер

Специалисты по данным могут использовать богатый набор встроенных алгоритмов, разработку функций и оценку моделей для быстрого создания моделей или прототипов машинного обучения. Эксперты по машинному обучению могут визуально создавать свои сложные обучающие конвейеры машинного обучения с помощью собственного кода. Инженеры машинного обучения могут построить конвейер операций с помощью аналогичного метода перетаскивания. Azure Machine Learning Designer визуализирует сложные конвейеры обучения машинному обучению и упрощает процесс построения и тестирования моделей и рабочих задач за счет встроенных компонентов, визуализации данных, оценки моделей и интеграции MLOps (DevOps для машинного обучения). Он позволяет пользователю автоматически создавать файлы оценки, регистрировать модели и создавать образы с помощью службы Azure Kubernetes (AKS) для масштабирования. Облачный актив также предоставляет пользователю набор встроенных алгоритмов, разработку функций и оценку моделей для дальнейшего упрощения и значительного ускорения процесса создания решений для машинного обучения, что делает его рекомендуемым инструментом для проекта, учитывая, что он поперечный временной горизонт.

Подробнее о том, как использовать Конструктор для подготовки данных и исследования того, какие здания находятся в опасности в случае землетрясения.

Автоматизированное машинное обучение

Автоматически создавайте и развертывайте прогностические модели с помощью пользовательского интерфейса Automated Machine Learning без кода. Вы можете повысить производительность благодаря простому исследованию данных и профилированию с помощью интеллектуального проектирования функций. Вы также можете легко создавать точные модели, адаптированные к вашим данным и уточняемые с помощью широкого набора алгоритмов и гиперпараметров. И последнее, но не менее важное: вы можете создавать ответственные решения ИИ с интерпретируемостью моделей и настраивать свои модели для повышения точности.

SDK Automated Machine Learning (AutoML) позволяет запускать решения глубокого обучения для классификации, регрессии, классификации текста с помощью BERT (на графическом процессоре) и прогнозирования временных рядов с помощью ForecastTCN и HyperDrive.

Чтобы узнать, как Auto ML упрощает ваше расследование, читайте подробнее в этой статье.

Заключение

Azure Machine Learning Workspace можно использовать как для решения простых, так и для сложных задач, а также для сценариев с кодом и без него. Я думаю, что это отличное место для начала понимания машинного обучения, изучения алгоритмов и процесса обучения.

Лучший выбор алгоритмов и функций данных сильно зависит от того, какую проблему вы пытаетесь решить и какой у вас набор данных.

И помните, уделяйте как можно больше времени разработке признаков, потому что это оказывает наибольшее влияние на точность модели. Обучение и тестирование модели помогают увидеть, что нужно улучшить в модели, чтобы повысить точность прогноза. Итеративные улучшения являются ключом к моделированию машинного обучения, и целью является наилучший результат — я думаю, именно по этой причине искусственный интеллект постоянно совершенствуется.