Публикации по теме 'distributed-systems'


Обзор возможной согласованности
Это шестой пост из серии о системном дизайне. Эта статья первоначально опубликована на https://www.learncsdesign.com . Появление распределенных баз данных NoSQL повысило важность конечной согласованности. Это не было проблемой, когда системы имели единый источник достоверности для всех данных в базе данных. Реплики просто не существовало. Чтобы обеспечить достаточную мощность обработки и хранения, многие современные системы масштабируют свои базы данных на нескольких узлах...
Как настроить несколько экземпляров Facebox
С Facebox (используя простой HTTP API) вы можете выполнять обнаружение и распознавание лиц на ваших собственных данных. Например, вы можете транслировать веб-камеру в Facebox, чтобы распознавать людей вживую или обрабатывать видео или файлы неподвижных изображений в большом масштабе. Facebox можно научить распознавать любое количество людей. Для этого вы должны вызвать /facebox/teach с _2 _, _ 3_ и изображением с одним лицом внутри. Вам нужно только одно фото на человека. После..
Публикация моей библиотеки ThreadPool Golang, реализующей SEDA
В моем последнем посте Повторно используемые рабочие потоки была одна проблема, о которой я упоминал в последнем, то есть когда миллиарды элементов помещаются в очередь заранее, что создает нагрузку на память, а затем рабочие потоки продолжают удалять элементы из очереди. и выполнить их. Предположим, если все потоки заняты выполнением элемента, который выполняется часами, а в фоновом режиме пользователь добавляет в очередь дополнительные элементы. Чаще всего это приводит к ошибке..
Bagua: новая эффективная распределенная стратегия обучения доступна в PyTorch Lightning 1.6.
Мы добавили поддержку новой распределенной стратегии обучения в сотрудничестве с командой Bagua. Мы также рассказали о преимуществах этой стратегии обучения в прямом эфире: Что такое Багуа? BaguaSys/Bagua — это фреймворк ускорения глубокого обучения для PyTorch, разработанный AI Platform@Kuaishou Technology и DS3 Lab@ETH . Bagua поддерживает несколько продвинутых алгоритмов распределенного обучения с современными методами системной релаксации. К ним относятся квантование,..
Реализация инвалидации кэша в механизме распределенного кэша: LRU [с реализацией кода]
Первоначально опубликовано на https://blog.shams-nahid.com . В Интернете есть очень популярная цитата Фила Карлтона: В компьютерных науках есть только две сложные вещи: аннулирование кеша и присвоение имен. Использование хранилища в оперативной памяти для доступа к данным происходит молниеносно, что сокращает повторные вычисления. Но мы должны учитывать компромиссы, память ограничена и дорога. Поэтому для нас очень важно выяснить, когда и как мы должны удалять/аннулировать..
Постоянство в конечном итоге: руководство для начинающих
Постоянство в конечном итоге: руководство для начинающих Распределенные системы обеспечивают широкий спектр преимуществ при проектировании современных систем, но сопряжены с компромиссами, которые необходимо учитывать. Если мы хотим, чтобы наша система была устойчива к разделам, нам нужно выбирать между строгой согласованностью и малой задержкой. Согласованность в конечном счете — это модель, которая позволяет системе быть устойчивой к разделам с высокой пропускной способностью и..
AVA Discovery View: Появление подлинных моментов
Авторы: Хамид Шахид , Лора Джонсон , Тиффани Лоу Краткое содержание В Netflix мы создали миллионы иллюстраций для представления наших игр. Каждое произведение искусства рассказывает историю о названии, которое оно представляет. Благодаря нашему тестированию рекламных активов мы знаем, какие из этих ресурсов показали хорошие результаты, а какие нет. Благодаря этому наши команды разработали интуитивное представление о том, какие визуальные и тематические характеристики произведений..