AI Consulting
Как структурировать консультационную службу по ИИ
Независимо от того, нужны ли вам консультационные услуги по ИИ или вы предлагаете их, вы извлечете выгоду из этого пособия.
В последние годы я предлагал нескольким компаниям консалтинговые услуги в области искусственного интеллекта или искусственного интеллекта. Большинство из них страдали от недостатка знаний об искусственном интеллекте. Отсутствие знаний может создать возможности для экспертов предоставлять консалтинговые услуги по ИИ; однако это создает множество проблем при определении требований и результатов проекта. Я прошел через большинство из этих проблем, и я хочу поделиться своим опытом их решения. Если вы хотите предложить или нуждаетесь в консультационных услугах по ИИ, я настоятельно рекомендую прочитать эту статью.
Деловое понимание - Шаг 0
На этом этапе вы должны определить цели и требования проекта. Вы должны определить, чего хочет достичь клиент, и как клиент хочет измерять свой успех. Кроме того, вы должны определить необходимые ресурсы и требования к проекту. Короче говоря, вы должны стремиться ответить «Что нужно бизнесу?».
После определения бизнес-целей вы должны определить технические цели, то есть как выглядит успех с технической точки зрения. На этом этапе необходимо создать план технических требований с описанием необходимых технологий и инструментов.
Затем вы должны провести анализ затрат и выгод. Я разработал структуру для проведения анализа рентабельности в проектах ИИ, которая называется структура сложности ожидания. Вы можете узнать больше об этой структуре здесь: Если вы думаете об использовании ИИ в своем бизнесе, прочтите это.
Понимание данных - шаг 1
На этом этапе вы должны определить поля данных, необходимые для обучения моделей машинного обучения или машинного обучения. Затем вы должны написать план для клиента по сбору начального набора данных. Исходные данные нужны для изучения и анализа. В ходе этого процесса будут выяснены многие неизвестные, такие как качество и достаточность. Короче говоря, вы должны стремиться ответить: «Какие данные у нас есть / нужны? Это чисто? Этого достаточно? "
Вы должны определить необходимые данные, создать план сбора данных и дать советы по их анализу. Все, что может помочь заказчику в достижении целей проекта.
Затем вы должны помочь клиенту создать план крупномасштабного сбора данных. На этом этапе вы должны задокументировать все проблемы с качеством и поверхностные свойства данных. Например, необходимо определить отношения между данными. Визуализация всегда помогает глубже вникнуть в данные. Подробнее читайте здесь: На пути к ведению крупномасштабного сбора данных.
Подготовка данных - шаг 2
На этом этапе вы должны выбрать данные, необходимые для проведения крупномасштабного сбора данных. Качество данных также должно быть записано во время сбора данных. Сбор крупномасштабных данных - дорогостоящий процесс; Итак, вы должны составить план, чтобы начать его проводить. Короче говоря, вы должны стремиться ответить: «Как компания собирает и систематизирует данные?»
Перед переходом к следующему шагу окончательный набор данных должен стать чистым. Обычно для очистки или исправления данных используются исправления, вменения или удаления ошибочных значений. Часто это самый длительный шаг в процессе. Без надлежащей обработки данных проект столкнется со сценарием «мусор на входе, мусор на выходе».
Без надлежащей обработки данных проект столкнется со сценарием «мусор на входе - мусор на выходе».
Команде ИИ может потребоваться создать новые атрибуты или функции из необработанных данных, чтобы построить новые данные, также известные как разработка функций. В соответствии с архитектурой модели вам также может потребоваться объединить существующие данные и переформатировать их. Например, во многих приложениях строковые значения преобразуются в числовые значения. Это помогает использовать математические операции с текстовыми данными. Знаменитым примером переформатирования данных является модель Word2Vec, которая регулярно используется при обработке текста. Вы можете узнать больше о моделях Word2Vec здесь: Модели Word2Vec просты, но революционны.
Обучение модели - Шаг 3
На этом этапе вы должны обучить и оценить различные модели машинного обучения с помощью разных алгоритмов (например, случайный лес, XGBoost или глубокое обучение). Это помогает определить лучшие методы моделирования для проблемы. Выбранные модели в любом случае потребуют доработки и оценки. Короче говоря, вы должны стремиться ответить: «Какие методы моделирования следует использовать?»
Никакая модель не может решить все проблемы. Модель машинного обучения, которая подходит для проблем с табличными данными, может не работать для тех, у кого есть данные изображения, и наоборот. Кроме того, модель машинного обучения, которая подходит для задач с небольшими наборами данных, может не работать для проблем с большими наборами данных. И многое другое!
Многие думают, что обучение или создание моделей - самая важная часть проекта ИИ. По крайней мере, это уже не так.
Многие думают, что обучение или создание моделей - самая важная часть проекта ИИ. По крайней мере, это уже не так. С использованием большого набора инструментов и библиотек, таких как библиотека SciKit-Learn, построение модели сводится к нескольким строкам кода. Команда ИИ должна сравнить несколько моделей друг с другом и интерпретировать их результаты на основе знаний в предметной области и показателей производительности. Вы можете узнать больше об истории ансамблевого классификатора, выигравшего свой конкурс, здесь: История ансамблевого классификатора, приобретенного Facebook.
Оценка модели - шаг 4
На этом этапе вы должны тщательно оценить модели и определить модель, отвечающую бизнес-требованиям. Шаг 3 включает в себя ряд оценочных заданий; однако основное внимание уделялось стандартным показателям производительности. Для большинства промышленных задач требуются специфические для проблемы показатели, а стандартных показателей производительности для них уже недостаточно. Короче говоря, вы должны стремиться ответить: «Какая модель лучше всего соответствует бизнес-целям?»
Многие отраслевые проблемы ограничиваются бизнес-требованиями и техническими требованиями, помимо критериев машинного обучения. Например, бизнес-модель, требующая ответа менее чем за секунду, должна гарантировать использование методов с минимальным объемом вычислений.
Вы должны постоянно проверять проделанную работу с помощью системы управления экспериментом, которая помогает вам обобщать результаты и выявлять ошибки, если таковые имеются.
Чтобы создать продукт AI, вы должны обучить большое количество моделей с различными конфигурациями параметров. Эти модели обучаются с использованием развивающегося обучающего набора данных. Показатели производительности также можно изменять в соответствии с различными бизнес-требованиями. Тем не менее, вы должны управлять этим сложным процессом и определить лучшую модель, отвечающую бизнес-целям. Для управления процессом оценки необходимо использовать систему управления экспериментом. Вы можете узнать больше о системе управления экспериментами здесь: Почему управление экспериментами - ключ к успеху в науке о данных.
Развертывание модели - шаг 5
На этом этапе вы должны создать подробный план развертывания, мониторинга и обслуживания. Большинство компаний и экспертов смотрят на этот шаг свысока; однако это может вызвать проблемы на этапе эксплуатации. Лучшая модель должна быть развернута в облаке, чтобы клиенты могли получить к ней доступ. Короче говоря, вы должны стремиться ответить: «Как заинтересованные стороны получают доступ к результатам?»
Модель бесполезна, если у клиента нет доступа к ее результатам, она обновляется для решения непредвиденных проблем и не будет соответствовать техническим и бизнес-требованиям клиента. Например, услуги облачных вычислений могут стать дорогостоящими, особенно для моделей машинного обучения, требующих больших вычислительных ресурсов.
Модель бесполезна, если у клиента нет доступа к ее результатам, она обновляется для решения непредвиденных проблем и не будет соответствовать техническим и бизнес-требованиям клиента.
В конце концов, вы должны просмотреть весь процесс, проведя ретроспективу проекта. Вы должны постоянно пересматривать процесс, отвечая на следующие вопросы: [1] что прошло хорошо, [2] что могло быть лучше и [3] как улучшить в будущем. Если вы хотите добиться успеха в создании продуктов искусственного интеллекта, вы должны знать о типичных ошибках. Вы можете узнать о четырех типичных ошибках при создании продукта машинного обучения здесь: Создайте продукт машинного обучения - 4 ошибки, которых следует избегать.
Спасибо за прочтение!
Если вам понравился этот пост и вы хотите меня поддержать…
- Подписывайтесь на меня на Medium!
- Посмотрите мои книги на Amazon!
- Станьте участником Medium!
- Присоединяйтесь к Linkedin!
- Подписывайтесь на меня в Twitter!
