Публикации по теме 'data-engineering'


Не поддавайтесь на «первый» и «последний» обман Apache Spark, это будет стоить вам денег!
Не поддавайтесь на «первый» и «последний» обман Apache Spark, это будет стоить вам денег! Изучение «первого» и «последнего» методов Apache Spark: понимание их подводных камней и предложение более надежного подхода 1. Введение В очередной раз столкнулся со знакомой всем ошибкой. Это было похоже на старого врага, который снова и снова всплывал на поверхность, заставая ничего не подозревающих программистов врасплох. Столкнувшись с этим несколько раз, я решил, что пришло время..

Пересмотр Википедии через расширенные линзы данных (# 4)
Введение Википедия — мать всех онлайн-энциклопедий. Этот веб-сайт был не первым, но первой онлайн-энциклопедией, которая набрала обороты и закрепила свой статус в истории Интернета и в сердцах своих пользователей. Что такое Википедия? Я родился в 1998 году и интернет был не в том состоянии, которое можно сравнить с тем, что есть сейчас. YouTube был в начале, и никто не называл себя ютубером… Википедия немного старше, и в определенной степени мы выросли на шумихе вокруг Википедии...

Инфраструктура реального времени для специалистов по данным
В нашей продолжающейся серии статей о трениях в разработке функций мы в целом говорили о разрыве импеданса между учеными и инженерами по данным и глубоко погрузились в трудности перевода Python на Java . Здесь я хочу сделать еще одно глубокое погружение, но на этот раз об инфраструктуре — еще одном источнике трений при преобразовании функций в реальном времени в рабочую среду. Вот основные выводы: И разработчикам, и специалистам по данным нужно иметь дело с инфраструктурой, но им..

Вы хотите выделиться в своих различных полях данных? Затем Примите эти принципы.
Я слушал подкаст Стива Джобса о том, как завоевать мир подкастов Бена Уилсона. Вы когда-нибудь задумывались, что сделало яблоко таким, каким вы его знаете сегодня? Эти принципы! Итак, Майк Марккула разработал маркетинговую философию Apple в 1977 году, которая актуальна и по сей день. ТРИ ПРИНЦИПА 🔥ЭМПАТИЯ: нарисуйте тесную связь с чувствами ваших клиентов. Поставив себя на место вашего клиента, вы лучше поймете его болевые точки и проблемы, которые помогут вам разработать..

Как сортировать кадры данных Pandas
Сортировка pandas DataFrames с использованием одного или нескольких столбцов При проверке наших данных мы иногда можем захотеть или даже должны отсортировать их на основе одного или нескольких столбцов. Этот простой процесс может помочь нам исследовать конкретный вариант использования, исследовать пограничные случаи и так далее. В сегодняшнем уроке мы подробно объясним, как сортировать кадры данных pandas по возрастанию или по убыванию. Кроме того, мы также покажем, как..

🥑 Улучшения в Python 3.10👨‍💻
В Python 3.10 также представлен новый синтаксис для определения декораторов Привет! Сегодня я рад рассказать о последней версии Python — 3.10! Как человек, который провел бессчетное количество часов за программированием на Python, я могу с уверенностью сказать, что Python 3.10 меняет правила игры. В этой записи блога я расскажу вам о новых функциях и улучшениях в Python 3.10. Итак, расслабьтесь, расслабьтесь и давайте исследовать вместе! 😎 👨‍💻 Улучшения в Python 3.10..

Как создать ценные тесты данных
Важно не количество, а качество. Качество данных широко обсуждалось в прошлом году. Растущее внедрение контрактов данных, продуктов данных и инструментов наблюдения за данными, безусловно, свидетельствует о стремлении специалистов по работе с данными предоставлять высококачественные данные своим потребителям. Мы все любим это видеть! Одним из основных строительных блоков в решениях для данных являются тесты данных. Это один из самых фундаментальных и практичных способов проверки..