У меня есть i5-4250U, у которого есть AVX2 и FMA3. Я тестирую некоторый плотный код умножения матрицы в GCC 4.8.1 на Linux, который я написал. Ниже приведен список трех разностных способов, которые я собираю.
SSE2: gcc matrix.cpp -o matrix_gcc -O3 -msse2 -fopenmp
AVX: gcc matrix.cpp -o matrix_gcc -O3 -mavx -fopenmp
AVX2+FMA: gcc matrix.cpp -o matrix_gcc -O3 -march=native -fopenmp -ffast-math
Версия SSE2 и AVX явно отличаются по производительности. Однако AVX2 + FMA не лучше версии AVX. Я этого не понимаю. Я получаю более 80% пиковых значений CPU, предполагая, что FMA нет, но я думаю, что с FMA я смогу сделать намного лучше. Матричное умножение должно быть полезно непосредственно из FMA. Я в основном делаю восемь точечных продуктов сразу в AVX. Когда я проверяю march=native, он дает:
cc -march=native -E -v - </dev/null 2>&1 | grep cc1 | grep fma
...-march=core-avx2 -mavx -mavx2 -mfma -mno-fma4 -msse4.2 -msse4.1 ...
Итак, я вижу, что он включен (просто чтобы я добавил -mfma, но это не имеет значения). ffast-math должен разрешить непринужденную модель с плавающей запятой Как использовать команды Fused Multiply-Add (FMA) с SSE/AVX
Edit:
Основываясь на комментариях Mystical, я пошел вперед и использовал _mm256_fmadd_ps, и теперь версия AVX2 + FMA работает быстрее. Я не уверен, почему компилятор не сделает этого для меня. Теперь я получаю около 80 GFLOPS (110% пиковых провалов без FMA) для матриц более 1000x1000. В случае, если кто-то не доверяет моему расчету с пиковым флопом, вот что я сделал.
peak flops (no FMA) = frequency * simd_width * ILP * cores
= 2.3GHZ * 8 * 2 * 2 = 73.2 GFLOPS
peak flops (with FMA) = 2 * peak flops (no FMA) = 146.2 GFLOPS
Мой процессор в турборежиме при использовании обоих ядер равен 2,3 ГГц. Я получаю 2 для ILP, потому что Ivy Bridge может делать одно AVX-умножение и одно добавление AVX в одно и то же время (и я несколько раз развернул цикл для обеспечения этого).
Я получаю около 55% пиковых провалов (с FMA). Я не уверен, почему, но, по крайней мере, я сейчас что-то вижу.
Один побочный эффект заключается в том, что теперь я получаю небольшую ошибку, когда сравниваю простой алгоритм умножения матрицы. Я думаю, что из-за того, что FMA имеет только один режим округления вместо того, что обычно будет два (что иронически нарушает правила с плавающей точкой IEEE, хотя, вероятно, и лучше).
Edit:
Кому-то нужно переделать Как достичь теоретического максимума из 4 FLOP за цикл? но сделать 8 двойных плавающих точек FLOPS за цикл с Haswell.
Изменить
Собственно, Mystical обновил свой проект, чтобы поддержать FMA3 (см. его ответ в ссылке выше). Я запустил его код в Windows8 с MSVC2012 (потому что версия Linux не скомпилировалась с поддержкой FMA). Вот результаты.
Testing AVX Mul + Add:
Seconds = 22.7417
FP Ops = 768000000000
FLOPs = 3.37705e+010
sum = 17.8122
Testing FMA3 FMA:
Seconds = 22.1389
FP Ops = 1536000000000
FLOPs = 6.938e+010
sum = 333.309
Это 69.38 GFLOPS для FMA3 для двойной с плавающей запятой. Для одиночной с плавающей запятой мне нужно удвоить ее так, чтобы 138.76 SP GFLOPS. Я рассчитываю, что мой пик равен 146,2 SP GFLOPS. Это 95% пика! Другими словами, я должен немного улучшить код GEMM (хотя он уже совсем немного быстрее, чем Eigen).