У меня есть массив удвоений, примерно 200 000 строк по 100 столбцов, и я ищу быстрый алгоритм для поиска строк, которые содержат последовательности, наиболее похожие на данный шаблон (шаблон может быть от 10 до 100 элементов). Я использую python, поэтому метод грубой силы (код ниже: цикл по каждой строке и начальный индекс столбца и вычисление евклидова расстояния в каждой точке) занимает около трех минут.
Функция numpy.correlate promises для решения этой проблемы намного быстрее (работа над одним и тем же набором данных менее чем за 20 секунд). Однако он просто вычисляет скользящее точечное произведение шаблона по всей строке, что означает, что для сравнения подобия мне пришлось бы сначала нормализовать результаты. Нормализация кросс-корреляции требует вычисления стандартного отклонения каждого фрагмента данных, что мгновенно отменяет улучшение скорости использования numpy.correlate в первую очередь.
Можно ли быстро вычислить нормированную кросс-корреляцию в python? Или мне придется прибегнуть к кодированию метода грубой силы в C?
def norm_corr(x,y,mode='valid'):
ya=np.array(y)
slices=[x[pos:pos+len(y)] for pos in range(len(x)-len(y)+1)]
return [np.linalg.norm(np.array(z)-ya) for z in slices]
similarities=[norm_corr(arr,pointarray) for arr in arraytable]