Насколько быстрее работает tensorflow-gpu с AVX и AVX2 по сравнению с ним без AVX и AVX2?

Насколько быстрее tensorflow-gpu с AVX и AVX2 по сравнению с ним без AVX и AVX2?

Я пытался найти ответ с помощью Google, но безуспешно. Трудно перекомпилировать tensorflow-gpu для Windows. Вот и хочу узнать, стоит ли.


tensorflow performance tensorflow-gpu
person Dmitry    schedule 10.09.2017    source источник

Ответы (1)


arrow_upward
11
arrow_downward

Если ваши вычисления представляют собой один гигантский матмул на ЦП, вы получите 3-кратное ускорение на Xeon V3 (см. тест здесь). Но также возможно и отсутствие ускорения, по-видимому, потому, что недостаточно времени затрачивается на операции с высокой арифметической интенсивностью, выполняемые на ЦП.

Вот таблица из руководства «Модели высокой производительности» для обучения resnet50 на ЦП с различными оптимизациями. Похоже, вы можете получить ускорение в 2,5 раза с лучшими настройками.

| Optimization | Data Format | Images/Sec   | Intra threads | Inter Threads |
:              :             : (step time)  :               :               :
| ------------ | ----------- | ------------ | ------------- | ------------- |
| AVX2         | NHWC        | 6.8 (147ms)  | 4             | 0             |
| MKL          | NCHW        | 6.6 (151ms)  | 4             | 1             |
| MKL          | NHWC        | 5.95 (168ms) | 4             | 1             |
| AVX          | NHWC        | 4.7 (211ms)  | 4             | 0             |
| SSE3         | NHWC        | 2.7 (370ms)  | 4             | 0             |

Если вы можете скомпилировать оптимизированную версию для Windows, было бы полезно упомянуть об этом в этом выпуске -- https://github.com/yaroslavvb/tensorflow-community-wheels/issues/13, кажется, есть некоторый спрос на такую ​​сборку

person Yaroslav Bulatov    schedule 10.09.2017
comment
Можете ли вы описать свои действия, прежде чем вы получите ошибку? Я остановился на следующем: stackoverflow.com/a/46140317/865475 - person Dmitry; 11.09.2017
comment
извините, у меня нет фона windows. Кстати, добавлена ​​таблица с таймингами для реальной сети - person Yaroslav Bulatov; 11.09.2017
comment
Обратите внимание, что здесь есть проблема, я думаю, у других людей возникают проблемы с созданием этого - github.com/tensorflow/ тензорный поток/вопросы/12978 - person Yaroslav Bulatov; 12.09.2017
comment
cmake также не работает с ошибкой: `C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\V140\Microsoft.CppCommon.targets(171,5): error MSB6006: cmd.exe Exited с кодом 1. [C:\tensorflow\tensorflow\contrib\cmake\build\cub.vcxproj]` (пересмотр последней успешной ночной сборки) - person Dmitry; 12.09.2017
comment
Windows 10 также ворует память графического процессора. Значит, должен умереть. Я собираюсь установить Ubuntu. - person Dmitry; 12.09.2017
comment
много печали :( - person Yaroslav Bulatov; 12.09.2017
comment
Основная версия завершается с ошибкой при использовании cmake: C:\Program Files (x86)\MSBuild\Microsoft.Cpp\v4.0\V140\Microsoft.CppCommon.targets(171,5): error MSB6006: "cmd.exe" e xited with code 1. [C:\tensorflow-cmake\tensorflow\contrib\cmake\build\gemmlowp.vcxproj] - person Dmitry; 12.09.2017
comment
Отчет о проблеме Cmake: github.com/tensorflow/tensorflow/issues/12977 - person Dmitry; 12.09.2017
comment
Я проверял как tensorflow с поддержкой AVX и AVX2, так и без них. Разница в производительности составляет 0% (ноль процентов). Кстати, мой процессор никогда не загружается до 100%. Все работает на GPU. - person Dmitry; 15.09.2017
comment
Вопрос был о tensorflow-gpu, но этот ответ, кажется, цитирует некоторые контрольные показатели, проведенные в режиме обучения только для ЦП. - person ivan866; 12.08.2020