Извлечение точных частот из БПФ с использованием изменения фазы между кадрами

Я просмотрел эту фантастическую статью: http://blogs.zynaptiq.com/bernsee/pitch-shifting-using-the-ft/

Будучи фантастическим, он чрезвычайно тяжелый и тяжелый. Этот материал действительно растягивает меня.

Я извлек математику из кодового модуля Стефана, которая вычисляет точную частоту для данного бункера. Но я не понимаю последнего расчета. Может ли кто-нибудь объяснить мне математическую конструкцию в конце?

Прежде чем копаться в коде, позвольте мне установить сцену:

  • Скажем, мы установили fftFrameSize = 1024, поэтому мы имеем дело с 512 + 1 ячейками

  • В качестве примера идеальная частота Bin [1] подходит для одной волны в кадре. При частоте дискретизации 40 кГц tOneFrame = 1024/40K секунд = 1/40 с, поэтому Bin [1] идеально собирал бы сигнал 40 Гц.

  • Установка osamp (overSample) = 4, мы продвигаемся по нашему входному сигналу с шагом 256. Таким образом, первый анализ анализирует байты от нуля до 1023, затем от 256 до 1279 и т.д. Обратите внимание, что каждый поплавок обрабатывается 4 раза.

...

void calcBins( 
              long fftFrameSize, 
              long osamp, 
              float sampleRate, 
              float * floats, 
              BIN * bins
              )
{
    /* initialize our static arrays */
    static float gFFTworksp[2*MAX_FRAME_LENGTH];
    static float gLastPhase[MAX_FRAME_LENGTH/2+1];

    static long gInit = 0;
    if (! gInit) 
    {
        memset(gFFTworksp, 0, 2*MAX_FRAME_LENGTH*sizeof(float));
        memset(gLastPhase, 0, (MAX_FRAME_LENGTH/2+1)*sizeof(float));
        gInit = 1;
    }

    /* do windowing and re,im interleave */
    for (long k = 0; k < fftFrameSize; k++) 
    {
        double window = -.5*cos(2.*M_PI*(double)k/(double)fftFrameSize)+.5;
        gFFTworksp[2*k] = floats[k] * window;
        printf("sinValue: %f", gFFTworksp[2*k]);
        gFFTworksp[2*k+1] = 0.;
    }

    /* do transform */
    smbFft(gFFTworksp, fftFrameSize, -1);

    printf("\n");

    /* this is the analysis step */
    for (long k = 0; k <= fftFrameSize/2; k++) 
    {
        /* de-interlace FFT buffer */
        double real = gFFTworksp[2*k];
        double imag = gFFTworksp[2*k+1];

        /* compute magnitude and phase */
        double magn = 2.*sqrt(real*real + imag*imag);
        double phase = atan2(imag,real);

        /* compute phase difference */
        double phaseDiff = phase - gLastPhase[k];
        gLastPhase[k] = phase;

        /* subtract expected phase difference */
        double binPhaseOffset = M_TWOPI * (double)k / (double)osamp;
        double deltaPhase = phaseDiff - binPhaseOffset;

        /* map delta phase into [-Pi, Pi) interval */
        // better, but obfuscatory...
        //    deltaPhase -= M_TWOPI * floor(deltaPhase / M_TWOPI + .5);

        while (deltaPhase >= M_PI)
            deltaPhase -= M_TWOPI;
        while (deltaPhase < -M_PI)
            deltaPhase += M_TWOPI;

(EDIT:) Теперь бит, который я не получаю:

        // Get deviation from bin frequency from the +/- Pi interval 
        // Compute the k-th partials' true frequency    

        // Start with bin ideal frequency
        double bin0Freq = (double)sampleRate / (double)fftFrameSize;
        bins[k].idealFreq = (double)k * bin0Freq;

        // Add deltaFreq
        double sampleTime = 1. / (double)sampleRate;
        double samplesInStep = (double)fftFrameSize / (double)osamp;
        double stepTime = sampleTime * samplesInStep;
        double deltaTime = stepTime;        

        // Definition of frequency is rate of change of phase, i.e. f = dϕ/dt
        // double deltaPhaseUnit = deltaPhase / M_TWOPI; // range [-.5, .5)
        double freqAdjust = (1. / M_TWOPI) * deltaPhase / deltaTime; 

        // Actual freq <-- WHY ???
        bins[k].freq = bins[k].idealFreq + freqAdjust;
    }
}

Я просто не вижу этого ясно, хотя кажется, что он смотрит в лицо. Не могли бы кто-нибудь объяснить этот процесс с нуля, шаг за шагом?

Ответ 1

Наконец, я понял это; действительно, я должен был получить его с нуля. Я знал, что будет простой способ получить его, моя (обычная) ошибка заключалась в том, чтобы попытаться следовать логике других людей, а не использовать свой собственный здравый смысл.

Эта головоломка занимает две клавиши, чтобы разблокировать ее.

  • Первый ключ состоит в том, чтобы понять, как чрезмерная выборка вводит поворот на фазе bin.

  • Второй ключ представлен в следующих разделах: График 3.3 и 3.4: http://www.dspdimension.com/admin/pitch-shifting-using-the-ft/

...

for (int k = 0; k <= fftFrameSize/2; k++) 
{
    // compute magnitude and phase 
    bins[k].mag = 2.*sqrt(fftBins[k].real*fftBins[k].real + fftBins[k].imag*fftBins[k].imag);
    bins[k].phase = atan2(fftBins[k].imag, fftBins[k].real);

    // Compute phase difference Δϕ fo bin[k]
    double deltaPhase;
    {
        double measuredPhaseDiff = bins[k].phase - gLastPhase[k];
        gLastPhase[k] = bins[k].phase;

        // Subtract expected phase difference <-- FIRST KEY
        // Think of a single wave in a 1024 float frame, with osamp = 4
        //   if the first sample catches it at phase = 0, the next will 
        //   catch it at pi/2 ie 1/4 * 2pi
        double binPhaseExpectedDiscrepancy = M_TWOPI * (double)k / (double)osamp;
        deltaPhase = measuredPhaseDiff - binPhaseExpectedDiscrepancy;

        // Wrap delta phase into [-Pi, Pi) interval 
        deltaPhase -= M_TWOPI * floor(deltaPhase / M_TWOPI + .5);
    }

    // say sampleRate = 40K samps/sec, fftFrameSize = 1024 samps in FFT giving bin[0] thru bin[512]
    // then bin[1] holds one whole wave in the frame, ie 44 waves in 1s ie 44Hz ie sampleRate / fftFrameSize
    double bin0Freq = (double)sampleRate / (double)fftFrameSize;
    bins[k].idealFreq = (double)k * bin0Freq;

    // Consider Δϕ for bin[k] between hops.
    // write as 2π / m.
    // so after m hops, Δϕ = 2π, ie 1 extra cycle has occurred   <-- SECOND KEY
    double m = M_TWOPI / deltaPhase;

    // so, m hops should have bin[k].idealFreq * t_mHops cycles.  plus this extra 1.
    // 
    // bin[k].idealFreq * t_mHops + 1 cycles in t_mHops seconds 
    //   => bins[k].actualFreq = bin[k].idealFreq + 1 / t_mHops
    double tFrame = fftFrameSize / sampleRate;
    double tHop = tFrame / osamp;
    double t_mHops = m * tHop;

    bins[k].freq = bins[k].idealFreq + 1. / t_mHops;
}

Ответ 2

Основной принцип очень прост. Если данный компонент точно соответствует частоте бункера, то его фаза не изменится с одной FT на другую. Однако, если частота не соответствует точно с частотой бункера, то произойдет переход фазы между последовательными ФТ. Частота дельта равна:

delta_freq = delta_phase / delta_time

а уточненная оценка частоты компонента будет:

freq_est = bin_freq + delta_freq

Ответ 3

Я сам реализовал этот алгоритм для Performous. Когда вы выполняете другой БПФ при смещении по времени, вы ожидаете, что фаза изменится в соответствии со смещением, т.е. две БПФ, взятые по 256 выборок, должны иметь разность фаз 256 выборок для всех частот, присутствующих в сигнале (это предполагает, что сами сигналы являются устойчивыми, что является хорошим предположением в течение коротких периодов, например, 256 образцов).

Теперь фактические значения фаз, которые вы получаете от FFT, находятся не в образцах, а в фазовом углу, поэтому они будут отличаться в зависимости от частоты. В следующем коде значение PhaseStep представляет собой коэффициент преобразования, необходимый для каждого бина, то есть для частоты, соответствующей бину x, фазовый сдвиг будет x * phaseStep. Для центральных частот буфера х будет целым числом (номер ячейки), но для реальных обнаруженных частот это может быть любое реальное число.

const double freqPerBin = SAMPLE_RATE / FFT_N;
const double phaseStep = 2.0 * M_PI * FFT_STEP / FFT_N;

Коррекция работает, полагая, что сигнал в бункере имеет центральную частоту бункера, а затем вычисляет ожидаемый сдвиг фазы для этого. Этот ожидаемый сдвиг вычитается из фактического сдвига, оставляя ошибку. Остаток (по модулю 2 pi) берется (-pi на диапазон pi), а конечная частота вычисляется с коррекцией бина + коррекция.

// process phase difference
double delta = phase - m_fftLastPhase[k];
m_fftLastPhase[k] = phase;
delta -= k * phaseStep;  // subtract expected phase difference
delta = remainder(delta, 2.0 * M_PI);  // map delta phase into +/- M_PI interval
delta /= phaseStep;  // calculate diff from bin center frequency
double freq = (k + delta) * freqPerBin;  // calculate the true frequency

Обратите внимание, что многие соседние бинды часто заканчиваются на одну и ту же частоту, потому что коррекция дельты может быть до 0,5 * FFT_N/FFT_STEP бинов в любом случае, так что меньший FFT_STEP, который вы используете, тем дальше будут исправления (но это увеличивается требуемая вычислительная мощность, а также неточность из-за неточностей).

Надеюсь, это поможет:)

Ответ 4

Это метод оценки частоты, используемый методами фазового вокодера.

Если вы посмотрите на одну точку синусоидальной волны с фиксированной частотой и фиксированной амплитудой во времени, фаза будет двигаться со временем на величину, пропорциональную частоте. Или вы можете сделать обратное: если вы измеряете, насколько изменяется фаза синусоиды в течение любой единицы времени, вы можете рассчитать частоту этой синусоиды.

Фазовый вокодер использует два БПФ для оценки фазы со ссылкой на два окна БПФ, а смещение двух БПФ - это расстояние между двумя фазовыми измерениями во времени. Оттуда у вас есть оценка частоты для этого БПФ-буфера (БПФ-бит является примерно фильтром для выделения синусоидального компонента или другого достаточно узкополосного сигнала, который помещается внутри этого бункера).

Для того, чтобы этот метод работал, спектр вблизи используемого БПФ-буфера должен быть довольно неподвижным, например. не изменяясь по частоте и т.д. Предполагается, что требуется фазовый вокодер.

Ответ 5

Возможно, это поможет. Подумайте о блоках FFT, указав маленькие часы или роторы, каждый из которых вращается на частоте бункера. Для стабильного сигнала (теоретическое) следующее положение ротора можно предсказать, используя математику в бит, который вы не получите.  Против этого "должно быть" (идеального) положения вы можете вычислить несколько полезных вещей: (1) разность фаз в бункере соседнего кадра, который используется фазовым вокодером для лучшей оценки частоты бункера, или (2) более общее отклонение фазы, которое является положительным индикатором начала записи или какого-либо другого события в аудио.

Ответ 6

Частоты сигналов, которые попадают точно на фазу предварительного пробега бина, с целыми кратными 2π. Поскольку фазы бункера, соответствующие частотам бункера, кратно 2π из-за периодического характера БПФ, в этом случае фазовое изменение отсутствует. Эта статья также объясняет это.