Как измерить производительность независимо от используемой машины

Тактовые циклы процессора тоже не так много значат, если ваше приложение привязано к памяти. На более быстром процессоре вы просто потратите больше циклов процессора, ожидая того же промаха кеша. (Математические приложения, вероятно, не привязаны к вводу-выводу).

Другая проблема заключается в том, что количество тактовых циклов для определенной последовательности инструкций по-прежнему будет варьироваться в зависимости от архитектуры (и даже между Intel Core1 / Core2). Таким образом, в качестве абсолютного показателя производительности тактовые циклы на одном процессоре вряд ли можно назвать улучшением.

Я бы сказал, что они на самом деле хуже в качестве меры. В отличие от времени, пользователей не волнуют циклы. Это особенно важно для современных многоядерных процессоров. «Неэффективные» алгоритмы, использующие вдвое большее количество циклов и 3 ядра, завершаются в 67% случаев. Наверное, пользователям это понравится.

Ваш вопрос подразумевает, что программное обеспечение уже работает настолько быстро, насколько возможно, за исключением проблемы с точностью. Я обнаружил, что это не всегда так, и я предполагаю, что на самом деле вам нужно сделать это как можно быстрее.

Я бы предположил, что измерение упускает из виду.

Что вам действительно нужно сделать, так это найти операторы или инструкции (не функции), 1) которые отвечают за значительную часть времени настенных часов, и 2) которые вы можете найти способ оптимизации .

Предполагая, что программное обеспечение имеет нетривиальный размер, есть вероятность, что в нем есть хотя бы несколько уровней вызовов функций, и вполне возможно, что некоторые из этих вызовов функций (не функции, вызовы функций ) отвечают за значительную долю времени и могут быть оптимизированы.

Это очень хороший способ найти их, и это является примером его использование.

Я согласен с вашим начальником - измеряйте тактовыми циклами процессора. Однако имейте в виду, что могут происходить и другие вещи, такие как множество промахов кеша, которые замедляют ваш код. По возможности используйте VTune или один из бесплатных инструментов Intel, чтобы определить причину узкого места.

В настоящее время тактовые циклы ЦП не зависят от машины, даже если ЦП используют один и тот же набор команд. Машинный код x86 (или любой другой) будет нарезан и нарезан самыми разными способами. Дни, когда это что-то значило, давно прошли (а когда-то циклы ЦП что-то значили, использовалось так много разных типов ЦП, что они в любом случае зависели от машины).

Не говоря уже о том, что привязка к процессору не так ясна, как раньше, что с промахами в кеше и всем остальным. Раньше считалось, что процесс, привязанный к ЦП, ограничивался только вводом-выводом и т. Д., Поскольку доступ к памяти занимал определенное количество циклов ЦП.

То, что вы пытаетесь измерить, - это производительность, которая, как я понимаю, означает, насколько быстро она работает. В этом случае вам, вероятно, лучше всего измерить время на настенных часах, повторив расчет столько раз, чтобы получить значимые результаты. Вы можете создать систему тестирования, которая будет работать в разных реализациях, чтобы получить сопоставимые результаты.

Вы можете измерить аппаратные счетчики ЦП, профили VTune Intel в этом неплохо справляются. он покажет вам подробную информацию, основанную на счетчиках ЦП (инструкция удалена, пропуски кэша, неверное прогнозирование ветки), а также коррелирует это с каждым оператором в ваших функциях, так что вы будете иметь довольно хорошее представление о том, что требует наибольших затрат.

предполагается, что ваша функция не привязана к памяти.

Спасибо

Измерение времени выполнения - это лучший способ.

В этом случае, я думаю, вы хотите свести к минимуму то, что вы измеряете, чтобы уменьшить количество переменных.

Затем было бы неплохо запустить какой-нибудь базовый уровень для калибровки этой конкретной машины. Либо используйте последнюю зарегистрированную версию, либо какую-то интенсивную процедуру, которая примерно соответствует типу вычислений, которые вы пытаетесь измерить. Тогда вы можете выразить эталон как

relative_time = measured_time_for_routine / measured_time_for_baseline