Публикации по теме 'data-engineering'


Создание вашего первого конвейера данных (1)
Создание вашего первого конвейера данных (1) базовое пошаговое руководство о том, как построить свой первый конвейер и инструменты, которые вы будете использовать Введение: Современные конвейеры данных позволяют вашему бизнесу быстро и эффективно разблокировать данные внутри вашей организации. Они позволяют извлекать информацию из ее источника, преобразовывать ее в пригодную для использования форму и загружать в свои системы, где вы можете использовать ее для принятия..
Данные — новое убийственное приложение
Ранее в этом году я читал гостевую лекцию в SJSU B-School о важности грамотности в области данных и аналитики для бизнес-менеджеров. Один из студентов спросил меня, почему акции Tesla настолько переоценены по сравнению с другими автопроизводителями (до разгрома в Твиттере PE для TSLA составлял 78 по сравнению с Ford: 4, GM: 6, Toyota: 10). У Tesla действительно есть лучший электромобиль с самым большим пробегом, но это только вопрос времени, когда другие автопроизводители догонят его. Это..
Как запустить современный конвейер данных в производство
Использование Azure DevOps, Databricks Spark, Cosmos DB Gremlin API и фабрики данных Azure А. Введение Создание конвейера данных - это одно; ввод его в производство - другое. Это особенно верно для современного конвейера данных, в котором несколько сервисов используются для расширенной аналитики. Примерами являются преобразование неструктурированных данных в структурированные, обучение моделей машинного обучения и внедрение OCR. Интеграция нескольких сервисов может быть сложной, и..
Тенденции и зарплаты в науке о данных в 2023 году
Руководство по тенденциям в области науки о данных с использованием Python с использованием методов визуализации данных. Наука о данных — одна из самых крутых областей в последние годы. Многие люди из разных слоев общества перешли в эту область. Но сохраняется ли эта тенденция? Сегодня мы обработаем набор данных о зарплатах в науке о данных 2023 и изучим тенденции в науке о данных с помощью методов визуализации данных. Вот темы, которые мы рассмотрим в этом блоге: 10 самых..
Как создать современную команду данных: от аналитики к ИИ
Или: Как сделать бег Кесселя менее чем за 12 парсеков Обзор Современный стек данных продолжает привлекать компании, которые хотят быстро окунуться в мир облачной аналитики и/или активно модернизируют свои унаследованные стек данных. Мы перечисляли преимущества современного стека данных в предыдущих статьях. Одна реальность, с которой сталкиваются многие компании при внедрении облачных технологий: проектирование инфраструктуры данных для бизнеса в среде облачных вычислений — это..
TickTock: самые дорогие часы в мире — история данных
Несмотря на растущую конкуренцию со стороны индустрии умных часов стоимостью 20 миллиардов долларов и пандемии, аукционы роскошных часов продолжают приносить рекордные многомиллионные продажи. Купить дом проще и дешевле, чем купить несколько Ролексов .
Как запустить dbt в Airflow
Автоматизированный рендеринг проектов dbt на Apache Airflow data b uild t ool (dbt) , несомненно, является одной из быстро развивающихся технологий в области обработки данных и аналитики. dbt служит инструментом преобразования данных, играя решающую роль на Т-этапе конвейеров ELT . Это позволяет командам эффективно развертывать аналитический код, придерживаясь лучших практик разработки программного обеспечения. Эти методы включают модульность, непрерывную интеграцию и..