Публикации по теме 'data-engineering'


Инфраструктура как код
Управление ресурсами инфраструктуры с помощью кода Во время моего пути в области инженерии я понял, что инструменты, которые мы используем, всегда будут меняться вследствие постоянного развития технологий. И я думаю, что мы все должны принять эту реальность, чтобы идти в ногу с технологиями, которые действительно могут повлиять на то, как мы создаем системы и приложения. За последнее десятилетие большинству компаний по всему миру пришлось пройти через технический подъем (также..
Выполнение асинхронных вызовов API с помощью динамического сопоставления задач Airflow
Если вы работаете с Airflow, есть вероятность, что некоторым из ваших DAG может потребоваться доступ к данным, полученным через API. Подобная ситуация произошла с нами, и мы оказались в месте, где нам нужно было сделать около 200 вызовов API для некоторых данных, чтобы соединить их с некоторыми существующими данными из другого источника. Разумным подходом является использование PythonOperator вместе с функцией, которая использует asyncio для неблокирующих HTTP-запросов. Мне было..
10 концепций JavaScript, которые вам нужно знать для фронтенд-разработки.
10 концепций JavaScript, которые вам нужно знать для фронтенд-разработки. JavaScript — это язык программирования, который стал неотъемлемой частью фронтенд-разработки. Он используется для создания интерактивных и динамических веб-страниц, повышающих удобство работы пользователей. Для фронтенд-разработчика важно хорошо разбираться в концепциях JavaScript. В этой статье мы обсудим 10 концепций JavaScript, которые вам необходимо знать для фронтенд-разработки. 1. Переменные..
Основные тенденции в области данных и аналитики на 2021 год
Основные тенденции в области данных и аналитики на 2021 год За последние несколько лет организации постепенно стали использовать аналитику данных как средство решения проблем, когда дело доходит до оптимизации затрат, увеличения доходов, повышения конкурентоспособности и стимулирования инноваций. В результате технология постоянно совершенствовалась и развивалась. Методы и инструменты анализа данных, которые были широко распространены всего год назад, вполне могут устареть в любой..
Почему я присоединился к Validio в качестве первого коммерческого сотрудника
Почему я присоединился к Validio в качестве первого коммерческого сотрудника Присоединение к команде высокопроизводительных инженеров +15 в качестве первого коммерческого найма было волнующим, образовательным, интеллектуально стимулирующим и, не буду лгать, иногда немного ошеломляющим (вы все знаете, как проходят первые недели на новой работе). Но кто я? Меня зовут Ричард, и я недавно присоединился к Validio в качестве руководителя стратегии роста и коммерческой деятельности,..
Ключевые моменты обучения по специализации MLOps — Курс 2
Серия специализаций MLOps Ключевые моменты обучения по специализации MLOps — курс 2 Резюме (с конспектами лекций) из курса Machine Learning Engineering for Production (MLOps) DeepLearning.AI и Эндрю Нг Хотя концепции машинного обучения ( ML ) очень важны, возможности производственного проектирования являются ключом к развертыванию моделей ML и получению отдачи от них в реальном мире. DeepLearning.AI и Coursera недавно разработали курс Специализация MLOps , чтобы поделиться тем,..
Почему мы не можем найти достаточно специалистов по обработке данных?
Там, где я работаю, мы очень заняты наймом. Повсюду не хватает талантов. COVID-19 заставил многие компании перейти на цифровые технологии быстрее, чем они хотели. Теперь всем нужны технические таланты. Я ищу инженеров по данным. Я беру 5–10 интервью в неделю. Не осталось камня на камне. Мы даже расширили поиск с 1 до 6 стран. Мы все еще не можем найти достаточно. Прежде чем вы перейдете к концу статьи. Я до сих пор не знаю ответа на заглавный вопрос. На ответ может..