Кто-нибудь еще замечал ужасную производительность при масштабировании для использования всех ядер в облачном экземпляре с заданиями, требующими большого объема памяти (в моем случае 2,5 ГБ)?
Когда я выполняю задания локально на своем четырехъядерном чипе Xeon, разница между использованием 1 ядра и всех 4 ядер составляет примерно 25% замедления для всех ядер. Этого следовало ожидать, насколько я понимаю; падение тактовой частоты по мере исчерпания ядер является частью конструкции многоядерного чипа.
Но когда я запускаю задания на многоядерном виртуальном экземпляре, я вижу замедление времени обработки примерно в 2-4 раза между использованием 1 ядра и всех ядер. Я видел это на инстансах GCE, EC2 и Rackspace. И я протестировал множество разных типов инстансов, в основном самые быстрые из предлагаемых.
Было ли такое поведение замечено другими с заданиями примерно такого же размера в использовании памяти?
Работа, которую я выполняю, написана на фортране. Я их не писал, и на самом деле я не специалист по Фортрану, поэтому мои знания о них ограничены. Я знаю, что у них низкие потребности в вводе-выводе. Они кажутся загруженными ЦП, когда я смотрю top во время их работы. Они работают без необходимости общаться друг с другом, т. е. до неприличия параллельно. Каждый из них занимает около 2,5 ГБ памяти.
Так что мое лучшее предположение на данный момент состоит в том, что задания, которые используют столько памяти, сильно страдают от управления памятью на уровне виртуализации. Также может случиться так, что мои рабочие места конкурируют за ресурс ввода-вывода, но, по мнению эксперта, это маловероятно.
Мой обходной путь на данный момент — использовать GCE, потому что у них есть одноядерный экземпляр, который на самом деле выполняет задания так же быстро, как чип моего ноутбука, и оценивается почти пропорционально количеству ядер.
cc2.8xlarge
, вы увидите, что он имеет 2 процессора с 4 ядрами каждый. Чтобы получить 16 ядер, он должен использовать гиперпоточность, что может вызвать проблемы для некоторых приложений. - person datasage   schedule 11.06.2013top
на виртуальной машине скажет, есть ли гиперпоточность на металле? - person jeremyjjbrown   schedule 21.02.2014