Несмотря на то, что у каждого инженера по машинному обучению есть немного другой набор инструментов, которые они используют, в своей основе они по-прежнему похожи: язык сценариев, структура ML / DL, возможно, некоторые инструменты для подготовки данных. Но когда дело доходит до работы инженером по машинному обучению, особенно удаленно, вы можете добавить несколько вещей, чтобы выделиться.

Эта история изначально появилась на RemoteML.com.

Пачкают руки на производстве

В некоторых компаниях модели машинного обучения - это не только то, что нужно для анализа данных или экспериментов - они активно развертываются в Интернете, на мобильных телефонах или встроенных устройствах.

Любой навык, который вы можете приобрести, который поможет вам оптимизировать скорость вывода, минимизировать размеры модели и повысить возможность развертывания, может очень помочь команде.

Во многих случаях - и для многих фреймворков - это означает, что вы можете использовать либо готовые инструменты, либо кодировать некоторый C ++ или аналогичный для использования низкоуровневых API. Но также важно знать, какие шаги вы можете предпринять, чтобы уменьшить размеры модели и какие есть подводные камни для производительности.

Как обрабатывать огромные объемы данных

При обучении машинному обучению вы часто получаете хорошо очищенные и обработанные данные обучения. В некоторых случаях вы даже можете просто подключить его локально к своей машине и использовать.

Что ж, особенно при работе в среде запуска, это может быть не так. Возможно, вам придется обрабатывать большие объемы (более 1 ТБ) зашумленных, неочищенных данных. Так как же это сделать?

Научитесь обрабатывать данные в распределенных кластерах, например, с помощью Apache Spark, и изучите некоторые передовые методы работы с удаленными данными. Подсказка: если вам нужно работать с удаленным хранилищем данных, извлекать изображения по одному не получится.

В настоящее время это один из наиболее востребованных навыков на рынке труда в сфере машинного обучения, но при этом он является одним из тех, которых в основном не хватает молодым инженерам по машинному обучению.

Визуальные эффекты

Многие люди визуальные. Им нравятся изображения, а не числа, фильмы - над книгами. Не менее важно, чем достижение впечатляющих результатов, показать их миру - или, по крайней мере, вашему руководителю. Хорошо продуманный и логичный сюжет или график - лучший способ сделать это.

Большинство людей знают на базовом уровне о том, как работать с графической структурой, такой как matplotlib, но как только вы освоите некоторые расширенные функции и приемы, ваши графики станут яснее, лучше и легче для понимания людьми, не имеющими технических знаний. Это станет ценным навыком, особенно если вы проводите презентацию или работаете над машинным обучением в компании, не связанной с машинным обучением.

С помощью этих трех приемов вы расширите свои навыки и станете более ценными для различных компаний. Исследовательскому центру может не понадобиться готовый к производству код, но он сможет использовать ваши навыки работы с графиком. И наоборот, для стартапа по машинному обучению.