Публикации по теме 'big-data'


Обслуживание пользовательских сигналов в режиме реального времени для проектирования функций
Дель Бао, Викас Кумар: инженер-программист, Ads ML Infra Зак Драч: инженер-менеджер, Ads ML Infra Более 320 миллионов уникальных посетителей приходят на Pinterest каждый месяц, чтобы открыть для себя вдохновляющий контент, который также дает рекламодателям уникальную возможность представить свои продукты людям с коммерческими намерениями. Для создания этого персонализированного каталога требуется точное отображение краткосрочных интересов пользователей в режиме реального времени...

Стресс-тест: пакеты Graph Analytics с открытым исходным кодом
Здесь, в Lab41, мы недавно заинтересовались динамическими графиками, и последние несколько месяцев мы пытались понять, какие инструменты мы можем использовать для их анализа - мы называем это проектом SkyLine. Мы пишем в этом блоге, чтобы объяснить, почему мы думаем, что динамические графики интересны, и что мы узнали на данный момент. Что такого хорошего в динамических графиках? Мы уже говорили об этом раньше и скажем еще раз: «Графики - отличный способ моделировать мир вокруг..

Аналитика больших данных: прогнозирование оттока клиентов с помощью PySpark
Один из наиболее актуальных вопросов для любой бизнес-модели, основанной на подписке, - это то, что заставляет людей подписываться и, что более важно, отказаться от подписки . Возьмите свои Spotify-ы, Pandora-s или Netflix-ы. Основной поток доходов этих компаний поступает от абонентской платы за подписку. Итак, вопрос о том, как удержать этих клиентов на подписке, жизненно важен для их выживания. Что такое отток В контексте клиентской базы старая добрая Википедия определяет..

Распространенные ошибки, совершаемые при работе с большими данными Интернета вещей, и как их избежать
Интернет вещей или Интернет вещей - это термин, впервые введенный Кевином Эштоном в 1999 году. Интернет вещей превратился в самые популярные модные словечки. Интернет вещей похож на термостат, который каждый день начинает выяснять ваш распорядок дня и действует соответствующим образом. Интернет вещей учится и адаптирует свой интеллект в соответствии с нашими потребностями. В сегодняшнюю эпоху цифрового Интернета вещей все оборудование и устройства, на которые мы так хлопаем глазом,..

Пример использования сеанса Databricks Spark
В более новой версии Apache Spark SparkSession можно использовать без инициализации. Example: spark.read.parquet("/pathToParquet") Но рекомендуется следовать шаблону компоновщика и создавать новый сеанс Spark перед использованием переменной spark . Шаблон Строителя import org.apache.spark.sql.SparkSession val spark = SparkSession .builder() .appName("yourAppName") .enableHiveSupport() .getOrCreate() spark.read.parquet("/pathToParquet")..