Есть ли заметная разница в производительности TensorFlow, если использовать графические процессоры Quadro и GeForce GPU?
например. использует ли он операции двойной точности или что-то еще, что может привести к падению карт GeForce?
Я собираюсь купить GPU для TensorFlow и хотел бы знать, будет ли GeForce в порядке. Спасибо и оцените вашу помощь.
Я думаю, что GeForce TITAN великолепна и широко используется в Machine Learning (ML). В ML в большинстве случаев достаточно одинарной точности.
Более подробную информацию о производительности линии GTX (в настоящее время GeForce 10) можно найти в Википедии, здесь.
Другие источники в Интернете поддерживают эту заявку. Вот цитата из doc-ok в 2013 году (permalink).
Для сравнения, "начальный уровень" $700 Quadro 4000 значительно медленнее, чем $530 high-end GeForce GTX 680, по крайней мере, согласно моим измерениям с использованием нескольких приложений Vrui, и ближайшая производительность, эквивалентная GeForce GTX 680 Я мог найти Quadro 6000 за колоссальные $3660.
Конкретно для ML, включая глубокое обучение, существует Обсуждение форума Kaggle, посвященное этой теме (декабрь 2014, permalink), в котором сравниваются сравнения между сериями Quadro, GeForce и Tesla:
Графические процессоры Quadro не предназначены для научных вычислений, то есть графические процессоры Tesla. Квадро карты предназначены для ускорения САПР, поэтому они не помогут вам тренировать нейронные сети. Вероятно, они могут быть использованы для этой цели штраф, но это пустая трата денег.
Карты Tesla предназначены для научных вычислений, но они, как правило, довольно дорогая. Хорошей новостью является то, что многие функции, предлагаемые Tesla карты для карт GeForce не нужны для обучения нейронных сетей.
Например, карты Tesla обычно имеют память ECC, что приятно но не обязательно. Они также имеют гораздо лучшую поддержку для вычисления с двойной точностью, но единственной точности для нейронной сети, и они выполняют примерно то же, что и GeForce карты для этого.
Одна из полезных особенностей карт Tesla заключается в том, что у них, как правило, много больше, чем сопоставимые карты GeForce. Больше ОЗУ всегда приветствуется, если вы планируете обучать более крупные модели (или использовать интенсивную RAM-интенсивность вычислений, таких как свертки на основе FFT).
Если вы выбираете между Quadro и GeForce, определенно выберите GeForce. Если вы выбираете между Tesla и GeForce, выберите GeForce, если у вас много денег и вы действительно можете использовать дополнительную оперативную память.
ПРИМЕЧАНИЕ. Соблюдайте, на какой платформе вы работаете и какова точность по умолчанию. Например, здесь, на форумах CUDA (август 2016 года), один разработчик владеет двумя сериями Titan X (GeForce) и не видит производительности получить в любом из своих R или Python скриптов. Это диагностируется в результате того, что R по умолчанию имеет двойную точность и имеет худшую производительность на новом графическом процессоре, чем их процессор (процессор Xeon). Графические процессоры Tesla приводятся в качестве лучшей производительности для двойной точности. В этом случае преобразование всех чисел в float32 увеличивает производительность с 12.437 с помощью nvBLAS 0.324s с gmatrix + float32s на одном TITAN X (см. Первый контрольный показатель). Цитата из этого обсуждения на форуме:
Двойная точность Titan X довольно низкая.