Навыки, обязанности и повседневная жизнь персонала, выполняющего эти должности.

Аналитик данных

Аналитик данных: Аналитик данных интерпретирует данные и превращает их в информацию, которая может предложить способы улучшения бизнеса, тем самым влияя на бизнес-решения. Аналитики данных собирают информацию из различных источников и интерпретируют закономерности и тенденции - поэтому описание должности аналитика данных должно подчеркивать аналитический характер роли. После того, как данные будут собраны и интерпретированы, аналитик данных доложит о том, что было обнаружено в ходе комплексного исследования, более широкому кругу деловых людей / соответствующим коллегам.

Необходимые навыки аналитика данных

Чтобы добиться успеха в должности аналитика данных, нужно ожидать от кандидата нескольких качеств:

  • Опыт работы с моделями данных и пакетами отчетности
  • Возможность анализа больших наборов данных
  • Умение писать исчерпывающие отчеты
  • Сильные устные и письменные коммуникативные навыки
  • Аналитический склад ума и склонность к решению проблем
  • Внимание к детали

Обязанности аналитика данных

1. Составление отчетов: «Как аналитик я трачу много времени на создание и поддержку внутренних отчетов», - говорит Кейси Пирсон, аналитик данных в Delphic Digital. «Успешные аналитики данных понимают, как создавать нарративы с данными, - говорит Джесс Кендра, менеджер по аналитике в Porter Novelli. «Чтобы оставаться ценными, отчеты, ответы и идеи, которые дает анализ данных, должны быть поняты следующим лицом, принимающим решения, который часто не является аналитиком».

2. Выявление закономерностей. Самые эффективные аналитики данных могут использовать данные, чтобы рассказать историю. Чтобы составить содержательный отчет, аналитик данных сначала должен уметь видеть важные закономерности в данных. Отчетность с регулярными приращениями, например, еженедельно, ежемесячно или ежеквартально, важна, поскольку помогает аналитику замечать важные закономерности.

3. Сотрудничество с другими. Удивлены, увидев это в списке? Слово «аналитик» может заставить вас подумать о ком-то, кто работает отдельно от остальной компании, но это далеко не так. Широкий спектр ролей и обязанностей аналитика данных означает, что вы будете сотрудничать со многими другими отделами вашей организации, включая маркетологов, руководителей и продавцов. Вы также, вероятно, будете тесно сотрудничать с теми, кто работает в области науки о данных, например, архитекторами данных / инженерами данных и разработчиками баз данных.

4. Сбор данных и настройка инфраструктуры. Возможно, самый технический аспект работы аналитика - это сбор самих данных. По словам Пирсона, это часто означает совместную работу с веб-разработчиками для оптимизации сбора данных.

Один день из жизни аналитика данных

Инженеры по обработке данных

Инженерия данных - это аспект науки о данных, который фокусируется на практических приложениях сбора и анализа данных. Для всей работы, которую специалисты по данным выполняют, чтобы отвечать на вопросы с использованием больших наборов информации, должны быть механизмы для сбора и проверки этой информации. Чтобы эта работа в конечном итоге имела какую-либо ценность, также должны быть механизмы для ее применения в реальных операциях. Это обе инженерные задачи: приложение науки к практическим, функционирующим системам.

Необходимые навыки инженера по данным

Инструменты и компоненты архитектуры данных. Поскольку инженеры по обработке данных гораздо больше озабочены аналитической инфраструктурой, большинство их требуемых навыков, как и ожидалось, ориентировано на архитектуру.

Углубленное знание SQL и других решений для баз данных: инженеры по обработке данных должны понимать управление базами данных, и поэтому глубокие знания SQL имеют огромную ценность. Аналогичным образом, другие решения для баз данных, такие как Cassandra или Bigtable, полезно знать, планируете ли вы работать внештатным сотрудником или нанимать инженеров, поскольку не каждая база данных будет построена в соответствии с признанным стандартом.

Хранилище данных и инструменты ETL: Опыт работы с хранилищами данных и ETL имеет важное значение для этой позиции. Решения для хранения данных, такие как Redshift или Panoply, а также знакомство с инструментами ETL, такими как StitchData или Segment, очень ценны. Точно так же опыт хранения и поиска данных не менее важен, поскольку объем обрабатываемых данных просто астрономический.

Аналитика на основе Hadoop (HBase, Hive, MapReduce и т. д.). Хорошее понимание аналитики на основе Apache Hadoop - очень распространенное требование в этой сфере, а также знание HBase, Hive и MapReduce. часто считается требованием.

Кодирование: Говоря о решениях, знание кодирования здесь является несомненным плюсом (а также, возможно, требованием для многих должностей). Знакомство, если не абсолютное мастерство, очень ценно в Python, C / C ++, Java, Perl, Golang или других подобных языках.

Различные операционные системы: наконец, глубокое знание UNIX, Linux и Solaris очень полезно, поскольку многие математические инструменты будут основаны на этих системах из-за их уникальных требований к корневому доступу к оборудованию и операционной системе. функциональность системы выше и выше, чем у Microsoft Windows или Mac OS.

Обязанности инженера по обработке данных

Управление. Инженер по данным управляет своей должностью и должностью младшего персонала службы поддержки данных, создавая базы данных, оптимизированные для производительности, внедряя изменения схемы и поддерживая стандарты архитектуры данных во всех базах данных компании.

Аналитика. Инженер данных играет аналитическую роль, выполняя специальный анализ данных, хранящихся в бизнес-базах данных MySQL / MS SQL, и пишет сценарии SQL, хранимые процедуры, функции и представления. На этой должности инженер по обработке данных устраняет проблемы с данными в рамках бизнеса и во всем бизнесе и представляет решения этих проблем. Он проактивно анализирует и оценивает базы данных компании, чтобы определить и рекомендовать улучшения и оптимизацию.

Поддержка / совместная роль: инженер по данным выполняет совместную роль, где в сотрудничестве со старшим руководством по разработке данных он разрабатывает и внедряет сценарии для обслуживания базы данных, мониторинга и настройки производительности, которые будут применяться во всем бизнесе. Инженер по данным играет вспомогательную роль в различных отделах бизнеса, где он поддерживает и предоставляет полезные сведения о реализации рабочих процессов.

Знания. Инженеры по обработке данных также обязаны идти в ногу с отраслевыми тенденциями и передовыми методами, консультируя высшее руководство по новым и улучшенным стратегиям инженерии данных, которые повысят эффективность работы отдела, что приведет к общему улучшению данных. управление в рамках всего бизнеса, содействие принятию обоснованных решений и, в конечном итоге, повышение общей эффективности бизнеса.

Один день из жизни инженера по обработке данных

Специалист по данным

Специалисты по данным - это новое поколение экспертов по аналитическим данным, обладающих техническими навыками для решения сложных проблем и любопытством к изучению того, какие проблемы необходимо решить.

Многие специалисты по анализу данных начинали свою карьеру статистиками или аналитиками данных. Но по мере того, как большие данные (а также технологии хранения и обработки больших данных, такие как Hadoop) начали расти и развиваться, эти роли также эволюционировали. ИТ-отделы больше не думают об обработке данных. Это ключевая информация, требующая анализа, творческого любопытства и умения воплощать высокотехнологичные идеи в новые способы получения прибыли.

Необходимые навыки специалиста по данным

  1. Статистика: Википедия определяет это как исследование сбора, анализа, интерпретации, представления и организации данных. Поэтому неудивительно, что специалистам по обработке данных необходимо знать статистику.
  2. Язык программирования R / Python: С помощью языка программирования вы можете манипулировать данными и применять определенные алгоритмы, чтобы получать важные идеи. Python и R - одни из наиболее широко используемых языков специалистами по анализу данных. Основная причина - количество пакетов, доступных для числовых и научных вычислений. С помощью таких пакетов, как Scikitlearn в Python и R и т. Д., В R становится действительно легко применять алгоритмы машинного обучения.
  3. Извлечение, преобразование и загрузка данных. Предположим, у нас есть несколько источников данных, таких как MySQL DB, MongoDB, Google Analytics. Вам необходимо извлечь данные из таких источников, а затем преобразовать их для сохранения в надлежащем формате или структуре для запросов и анализа. Наконец, вам необходимо загрузить данные в хранилище данных, где вы будете анализировать данные. Итак, для людей из ETL (извлечение, преобразование и загрузка) Data Science может стать хорошим вариантом карьеры.
  4. Обработка данных и исследование данных: у вас есть данные в хранилище, но они довольно противоречивы. Таким образом, вам необходимо очистить и унифицировать беспорядочные и сложные наборы данных для облегчения доступа и анализа. Это называется Преодоление данных. Исследовательский анализ данных (EDA) - это первый шаг в процессе анализа данных. Здесь вы разбираетесь в имеющихся данных, а затем выясняете, какие вопросы вы хотите задать и как их сформулировать, а также как лучше всего управлять доступными источниками данных, чтобы получить нужные ответы.
  5. Платформы обработки больших данных. Для обучения моделей машинного обучения / глубокого обучения требуется огромный объем данных. Раньше из-за нехватки данных и вычислительной мощности создание точных моделей машинного обучения / глубокого обучения было невозможно. В настоящее время с хорошей скоростью генерируется огромное количество данных. Эти данные могут быть структурированными или неструктурированными, поэтому они не могут обрабатываться традиционными системами обработки данных. Такие огромные наборы данных называются большими данными.
  6. Визуализация данных. Визуализация данных - одна из наиболее важных частей анализа данных. Всегда было важно представить данные в понятном и визуально привлекательном формате. Визуализация данных - один из навыков, которым должны овладеть специалисты по данным, чтобы лучше общаться с конечными пользователями. Существует несколько инструментов, таких как Tableau, Power BI, которые предоставляют удобный интуитивно понятный интерфейс.

Обязанности специалиста по данным

Менеджмент. Специалист по данным играет второстепенную управленческую роль, помогая заложить фундамент современных научных и технических возможностей в отделе данных и аналитики для поддержки нескольких запланированных и текущих мероприятий. проекты аналитики данных.

Аналитика. Специалист по данным играет аналитическую роль, когда он разрабатывает, внедряет и оценивает передовые статистические модели и подходы для применения в самых сложных вопросах бизнеса. Data Scientist строит эконометрические и статистические модели для различных задач, включая проекции, классификацию, кластеризацию, анализ шаблонов, выборку, моделирование и т. Д.

Стратегия / дизайн: Data Scientist играет стратегическую роль в разработке новых подходов к пониманию тенденций и поведения потребителей в бизнесе, а также подходов к решению сложных бизнес-задач, например, оптимизации производительности продукта. и валовая прибыль.

Сотрудничество. Специалист по данным не одинок, и на этой должности он сотрудничает со старшими специалистами по данным, чтобы сообщать о препятствиях и выводах соответствующим заинтересованным сторонам, чтобы улучшить процесс принятия решений и повысить эффективность бизнеса.

Знания: специалист по анализу данных также проявляет инициативу, экспериментируя с различными технологиями и инструментами, чтобы в кратчайшие сроки создавать инновационные аналитические данные для бизнеса на основе данных. На этой должности специалист по анализу данных также берет на себя инициативу по оценке и внедрению новых и улучшенных подходов к анализу данных для бизнеса, которые он передает на утверждение высшему руководству.

Один день из жизни специалиста по данным

Инженер по машинному обучению

Инженеры по машинному обучению - это полноценные инженеры по программному обеспечению, специализирующиеся на машинном обучении. Наиболее важные обязанности инженера по машинному обучению примерно таковы: проведение экспериментов с машинным обучением с использованием языка программирования с библиотеками машинного обучения.

Необходимые навыки инженера по машинному обучению

  1. Информатика и программирование: Нет, друг мой, ИИ не может программировать сам себя - пока. Структуры данных, алгоритмы, сложность, архитектура компьютера - если вы разбираетесь в многомерных массивах, оптимизации, NP-полных задачах и распределенной обработке, у вас хорошее начало.
  2. Вероятность и статистика. От средних и медиан до биномиальных распределений и скрытых марковских моделей - вам нужно будет успешно сдать экзамен по статистике, чтобы сделать хороший ML.
  3. Моделирование и оценка данных: вам не нужно быть специалистом по данным как таковым, но это помогает. Будьте готовы, среди прочего, изучить все виды измерений точности и ошибок, а также стратегии оценки.
  4. Применение алгоритмов и библиотек машинного обучения: Можете ли вы взять эти общедоступные API и выбрать правильную модель и процедуру обучения, соответствующие данным? Здесь вы берете все те теории, которые вы только что узнали, и применяете их.
  5. Разработка программного обеспечения и проектирование систем. Практически реализовав алгоритмы и библиотеки, вы, вероятно, еще не закончили. Ваше программное обеспечение по-прежнему должно работать с более крупной системой продуктов и услуг, чтобы иметь какое-либо применение. Вызовы библиотек, REST API, запросы к базе данных - вам тоже нужно знать это.

Обязанности инженера по машинному обучению

  • Понимание бизнес-целей и разработка моделей, которые помогают их достичь, а также показателей для отслеживания их прогресса.
  • Управление доступными ресурсами, такими как оборудование, данные и персонал, для соблюдения сроков.
  • Анализ алгоритмов машинного обучения, которые можно использовать для решения данной проблемы, и их ранжирование по вероятности успеха.
  • Изучение и визуализация данных для их понимания, а затем выявление различий в распределении данных, которые могут повлиять на производительность при развертывании модели в реальном мире.
  • Проверка качества данных и / или обеспечение его посредством очистки данных.
  • Наблюдение за процессом сбора данных, если требуются дополнительные данные.
  • Поиск доступных наборов данных в Интернете, которые можно использовать для обучения.
  • Определение стратегий проверки.

Один день из жизни инженера по машинному обучению

Средняя зарплата в Индии:

Согласно Payscale,

Аналитик данных - 4,04 924 ₹ в год

Data Engineer - 8 44879 ₹ в год

Data Scientist - 8 18 099 ₹ в год

Инженер по машинному обучению - 9,55 000 ₹ в год.

Резюме

В настоящее время эти вакансии очень востребованы, поскольку компании с нетерпением ждут экспертов для работы с огромными объемами данных. Следовательно, возникли новые рабочие роли, каждая из которых имеет несколько разные роли, обязанности и требования к навыкам.

Если вы точно знаете, что хотите делать со своим желанным набором навыков, включая математику, статистику и информатику, то все, что вам нужно сделать, - это следовать им до самого конца, что сделает вас успешным человеком в нынешнем поколении.