Публикации по теме 'data-engineering'


Открытые позиции в AI на неделю с 10.10 по 16.10
Обычно я сталкиваюсь со многими сообщениями об открытых вакансиях в LinkedIn в области ИИ в академических кругах и промышленности. Я делился ими или публиковал их в своем профиле и обнаружил, что многие люди сочли это полезным, однако очень сложно повторно поделиться ими или опубликовать их в отдельных сообщениях, поэтому я подумал, что было бы неплохо собрать все открытые вакансии, которые я приходите каждую неделю и публикуйте их в еженедельном информационном бюллетене. Если вы ищете..
Проект Data Engineering — Создание инвестиционной платформы — Часть 3
В этой заключительной части серии я создам приложение для инвестиционной платформы с помощью Flask. Я буду брать данные из Google BigQuery и постоянно скармливать их приложению. В предыдущей статье я построил конвейер ETL, который запускается один раз в день и загружает новые данные Forex в BigQuery. Пока конвейер активен, BigQuery будет иметь обновленные данные Forex EOD (конец дня), готовые для загрузки в инвестиционную платформу. Обзор проекта Репозиторий GitHub..
Почему не Крон?
Планирование с помощью cron или без него — лишь малая часть головоломки координации данных. На днях я демонстрировал Prefect, платформу для координации потоков данных с открытым исходным кодом, и один наблюдатель спросил: "Почему я должен использовать Prefect вместо Cron?" Это такой замечательный вопрос, что я решил написать этот пост в блоге, чтобы ответить на него! 🚀 Cron — отличный вариант, чтобы позаботиться о планировании. Но планирование — это всего лишь одна часть..
Я работал стажером в LetsGrowMore в течение одного месяца и получил большой опыт…
Я работал стажером в LetsGrowMore в течение одного месяца и получил большой опыт, и я хотел бы порекомендовать @letsgrowmore и получить большой опыт стажировки здесь. Это одно из лучших мест для обучения. Спасибо сообществу LetsGrowMore (LGM).
РАПИДУС ​​Версия 23.04
RAPIDS 23.04 вышел! Мы рады этому выпуску, который включает в себя основные обновления cuSpatial, постоянные улучшения функциональности графических нейронных сетей в наших библиотеках графов, некоторые улучшения производительности (и бенчмаркинг!) в cuDF, а также ряд улучшений и новых функций в RAFT (наш ускоренный примитивы), многие из них нацелены на улучшение векторного поиска. Без лишних слов, давайте перейдем к обновлениям! cuDF/libcudf Мы рады представить наши новые тесты с..
Открытая архитектура потоковых данных с использованием Azure
Открытый и переносимый подход для интеграции и сохранения данных в реальном времени в распределенном хранилище, позволяющий использовать расширенную аналитику и специальный анализ по невысокой цене. Введение За последние пару лет спрос на сбор, обработку и анализ данных в реальном времени стремительно вырос. Организации хотят извлекать выгоду из данных в реальном времени так же, как они извлекают выгоду из данных, хранящихся в течение десятилетий. Тем не менее, архитектуры потоковой..
Собеседование с менеджером по найму. Руководство пользователя.
Первое собеседование в процессе найма разработчиков программного обеспечения часто представляет собой беседу с менеджером по найму. Кандидаты, как правило, не воспринимают это всерьез, потому что обычно это беседа в свободной форме, без пугающей задачи живого кодирования или глубоких технических вопросов. Однако это ошибка, и люди не должны упускать возможности, которые предоставляет собеседование с менеджером по найму. Я провел много собеседований с менеджерами по найму для отдела..