Публикации по теме 'scalability'


Асинхронная обработка миллионов изображений листинга
Как мы улучшили наш процессор изображений с помощью программирования, основанного на страхе Несколько месяцев назад мы значительно улучшили пропускную способность и обработку ошибок нашего конвейера обработки изображений (для обработки изображений объектов недвижимости). Но сначала вернемся к чуть более года назад. Только не снова! 19:15 : это снова происходит. Поступают сообщения об отсутствующих обновлениях изображений объявлений. Я вижу исключения сети Finagle и признаки тупика..
Масштабирование машинного обучения с помощью Ray.io и AWS
Руководство по настройке базового распределенного кластера машинного обучения и подготовке его в облаке для запуска приложений машинного обучения. Введение Поскольку рабочие нагрузки машинного обучения становятся все более сложными и ресурсоемкими, распределение приложений машинного обучения на нескольких компьютерах может значительно повысить производительность и сэкономить время. Ray — это платформа распределенных вычислений, которая позволяет легко масштабировать рабочие..
Масштабирование Kubernetes до более чем 4 тыс. узлов и 200 тыс. модулей
В PayPal мы недавно начали тестировать возможности Kubernetes. Большинство наших рабочих нагрузок выполняются на Apache Mesos, и в рамках этой миграции нам нужно было понять несколько аспектов производительности кластеров, на которых работает Kubernetes, со специфичной для PayPal плоскостью управления. Главным среди этих аспектов является понимание масштабируемости платформы, а также определение возможностей для улучшения путем настройки кластера. В отличие от Apache Mesos, который..
Масштабирование обучения модели машинного обучения с одним узлом с использованием Pandas Function API на Databricks…
Введение Идея этой статьи возникла из моего опыта разработки решения для одного из наших корпоративных розничных клиентов. Они столкнулись с проблемой расширения клиентской базы, а их текущие модели машинного обучения для индивидуальных рекомендаций клиентов не могли поспевать за этим ростом. Как правило, библиотеки машинного обучения, изначально не предназначенные для использования преимуществ распределенных систем, не будут эффективно масштабироваться, даже если они работают в..
Blockchain 3.0 - DAG, лучшее решение для dApp? Программист объяснил
Что такое блокчейн 3.0? Почему вас должно волновать, создаете ли вы / планируете создать децентрализованное приложение? Что такое 「DAG」 направленный ациклический граф? «DAG» - это одна из многих структур данных, которая может безопасно хранить данные. Чем он отличается от блокчейна? Представим себе, что мы находимся в классе, и в нем 30 учеников, и учитель должен поставить оценку своей работе после того, как они ее отправят. Решение 1 「Блокчейн」 A teacher будет..
От бэкенд-разработчика до реального клиента
Безумие, казалось! Каждый день приходить в офис в Бангалоре, изучать коды, часами обсуждать даже самые маленькие новые функции, которые нужно добавить, разрабатывать спринты и карты историй, воплощать их в жизнь, делать демонстрации кода, пытаться применять лучшие доступные технологии. , изучение, кодирование, исследование и поиск изо дня в день; для круга клиентов, чьи потребности можно только представить. Это казалось виртуальным, масштаб, воздействие и ожидания. Действительно безумие,..
Простое распределенное обучение Scikit-Learn с Ray
TL; DR: масштабируйте свои приложения scikit-learn до кластера с помощью реализации Ray’s серверной части joblib . Scikit-learn - популярная библиотека с открытым исходным кодом для машинного обучения. Он включает в себя различные алгоритмы кластеризации, классификации, регрессии и выбора модели, включая k-среднее, машины опорных векторов (SVM), повышение градиента и случайные леса. Распределенный Scikit-Learn с Ray Scikit-learn распараллеливает обучение на одном узле,..