Публикации по теме 'big-data'
Обслуживание пользовательских сигналов в режиме реального времени для проектирования функций
Дель Бао, Викас Кумар: инженер-программист, Ads ML Infra Зак Драч: инженер-менеджер, Ads ML Infra
Более 320 миллионов уникальных посетителей приходят на Pinterest каждый месяц, чтобы открыть для себя вдохновляющий контент, который также дает рекламодателям уникальную возможность представить свои продукты людям с коммерческими намерениями.
Для создания этого персонализированного каталога требуется точное отображение краткосрочных интересов пользователей в режиме реального времени...
Стресс-тест: пакеты Graph Analytics с открытым исходным кодом
Здесь, в Lab41, мы недавно заинтересовались динамическими графиками, и последние несколько месяцев мы пытались понять, какие инструменты мы можем использовать для их анализа - мы называем это проектом SkyLine. Мы пишем в этом блоге, чтобы объяснить, почему мы думаем, что динамические графики интересны, и что мы узнали на данный момент.
Что такого хорошего в динамических графиках?
Мы уже говорили об этом раньше и скажем еще раз: «Графики - отличный способ моделировать мир вокруг..
Аналитика больших данных: прогнозирование оттока клиентов с помощью PySpark
Один из наиболее актуальных вопросов для любой бизнес-модели, основанной на подписке, - это то, что заставляет людей подписываться и, что более важно, отказаться от подписки . Возьмите свои Spotify-ы, Pandora-s или Netflix-ы. Основной поток доходов этих компаний поступает от абонентской платы за подписку. Итак, вопрос о том, как удержать этих клиентов на подписке, жизненно важен для их выживания.
Что такое отток
В контексте клиентской базы старая добрая Википедия определяет..
Распространенные ошибки, совершаемые при работе с большими данными Интернета вещей, и как их избежать
Интернет вещей или Интернет вещей - это термин, впервые введенный Кевином Эштоном в 1999 году. Интернет вещей превратился в самые популярные модные словечки. Интернет вещей похож на термостат, который каждый день начинает выяснять ваш распорядок дня и действует соответствующим образом. Интернет вещей учится и адаптирует свой интеллект в соответствии с нашими потребностями. В сегодняшнюю эпоху цифрового Интернета вещей все оборудование и устройства, на которые мы так хлопаем глазом,..
Пример использования сеанса Databricks Spark
В более новой версии Apache Spark SparkSession можно использовать без инициализации.
Example: spark.read.parquet("/pathToParquet")
Но рекомендуется следовать шаблону компоновщика и создавать новый сеанс Spark перед использованием переменной spark .
Шаблон Строителя
import org.apache.spark.sql.SparkSession
val spark = SparkSession
.builder()
.appName("yourAppName")
.enableHiveSupport()
.getOrCreate()
spark.read.parquet("/pathToParquet")..