Скалярные операции AVX намного быстрее

Я тестирую следующую простую функцию

void mul(double *a, double *b) {
  for (int i = 0; i<N; i++) a[i] *= b[i];
}

с очень большими массивами, так что это ограничение полосы пропускания памяти. Ниже приведен тестовый код. Когда я скомпилирован с -O2, он занимает 1,7 секунды. При компиляции с -O2 -mavx требуется всего 1,0 секунды. Скалярные операции без vex-кода на 70% медленнее! Почему это?

Вот сборка для -O2 и -O2 -mavx. vimddif of <code> -O2 </code> <code> -O2 -mavx </код >

https://godbolt.org/g/w4p60f

Система: [email protected] (Skylake) 32 ГБ памяти, Ubuntu 16.10, GCC 6.3

Тестовый код

//gcc -O2 -fopenmp test.c
//or
//gcc -O2 -mavx -fopenmp test.c
#include <string.h>
#include <stdio.h>
#include <x86intrin.h>
#include <omp.h>

#define N 1000000
#define R 1000

void mul(double *a, double *b) {
  for (int i = 0; i<N; i++) a[i] *= b[i];
}

int main() {
  double *a = (double*)_mm_malloc(sizeof *a * N, 32);
  double *b = (double*)_mm_malloc(sizeof *b * N, 32);

  //b must be initialized to get the correct bandwidth!!!
  memset(a, 1, sizeof *a * N);
  memset(b, 1, sizeof *b * N);

  double dtime;
  const double mem = 3*sizeof(double)*N*R/1024/1024/1024;
  const double maxbw = 34.1;
  dtime = -omp_get_wtime();
  for(int i=0; i<R; i++) mul(a,b);
  dtime += omp_get_wtime();
  printf("time %.2f s, %.1f GB/s, efficency %.1f%%\n", dtime, mem/dtime, 100*mem/dtime/maxbw);

  _mm_free(a), _mm_free(b);
}

ОТВЕТЫ

Ответ 1

Проблема связана с грязной верхней половиной регистра AVX после вызова omp_get_wtime(). Это проблема, особенно для процессоров Skylake.

Впервые я прочитал об этой проблеме здесь. С тех пор другие люди наблюдали эту проблему: здесь и здесь.

Используя gdb, я обнаружил, что omp_get_wtime() вызывает clock_gettime. Я переписал свой код, чтобы использовать clock_gettime(), и я вижу ту же проблему.

void fix_avx() { __asm__ __volatile__ ( "vzeroupper" : : : ); }
void fix_sse() { }
void (*fix)();

double get_wtime() {
  struct timespec time;
  clock_gettime(CLOCK_MONOTONIC, &time);
  #ifndef  __AVX__ 
  fix();
  #endif
  return time.tv_sec + 1E-9*time.tv_nsec;
}

void dispatch() {
  fix = fix_sse;
  #if defined(__INTEL_COMPILER)
  if (_may_i_use_cpu_feature (_FEATURE_AVX)) fix = fix_avx;
  #else
  #if defined(__GNUC__) && !defined(__clang__)
  __builtin_cpu_init();
  #endif
  if(__builtin_cpu_supports("avx")) fix = fix_avx;
  #endif
}

Выполнение кода с помощью gdb Я вижу, что в первый раз clock_gettime называется его вызовом _dl_runtime_resolve_avx(). Я считаю, что проблема заключается в этой функции, основанной на этом комментарии. Эта функция вызывается только при первом вызове clock_gettime.

С GCC проблема исчезает, используя //__asm__ __volatile__ ( "vzeroupper" : : : ); после первого вызова с помощью clock_gettime, но с Clang (используя clang -O2 -fno-vectorize, поскольку Clang векторизует даже в -O2), он уходит только после его использования после каждого вызова clock_gettime.

Вот код, который я использовал для проверки этого (с GCC 6.3 и Clang 3.8)

#include <string.h>
#include <stdio.h>
#include <x86intrin.h>
#include <time.h>

void fix_avx() { __asm__ __volatile__ ( "vzeroupper" : : : ); }
void fix_sse() { }
void (*fix)();

double get_wtime() {
  struct timespec time;
  clock_gettime(CLOCK_MONOTONIC, &time);
  #ifndef  __AVX__ 
  fix();
  #endif
  return time.tv_sec + 1E-9*time.tv_nsec;
}

void dispatch() {
  fix = fix_sse;
  #if defined(__INTEL_COMPILER)
  if (_may_i_use_cpu_feature (_FEATURE_AVX)) fix = fix_avx;
  #else
  #if defined(__GNUC__) && !defined(__clang__)
  __builtin_cpu_init();
  #endif
  if(__builtin_cpu_supports("avx")) fix = fix_avx;
  #endif
}

#define N 1000000
#define R 1000

void mul(double *a, double *b) {
  for (int i = 0; i<N; i++) a[i] *= b[i];
}

int main() {
  dispatch();
  const double mem = 3*sizeof(double)*N*R/1024/1024/1024;
  const double maxbw = 34.1;

  double *a = (double*)_mm_malloc(sizeof *a * N, 32);
  double *b = (double*)_mm_malloc(sizeof *b * N, 32);

  //b must be initialized to get the correct bandwidth!!!
  memset(a, 1, sizeof *a * N);
  memset(b, 1, sizeof *b * N);

  double dtime;
  //dtime = get_wtime(); // call once to fix GCC
  //printf("%f\n", dtime);
  //fix = fix_sse;

  dtime = -get_wtime();
  for(int i=0; i<R; i++) mul(a,b);
  dtime += get_wtime();
  printf("time %.2f s, %.1f GB/s, efficency %.1f%%\n", dtime, mem/dtime, 100*mem/dtime/maxbw);

  _mm_free(a), _mm_free(b);
}

Если я отключу ленивое разрешение вызова функции с помощью -z now (например, clang -O2 -fno-vectorize -z now foo.c), то Клану требуется только __asm__ __volatile__ ( "vzeroupper" : : : ); после первого вызова clock_gettime, как GCC.

Я ожидал, что с -z now мне понадобится __asm__ __volatile__ ( "vzeroupper" : : : ); сразу после main(), но мне все еще нужно это после первого вызова clock_gettime.