Ускоренная техника Python подсчитывает тройки из списка чисел, кратных друг другу

Предположим, что у нас есть список чисел, l. Мне нужно СЧЕТЬ все кортежи длины 3 из l, (l_i,l_j,l_k), что l_i равномерно делит l_j, а l_j равномерно делит l_k. При условии, что индексы i,j,k имеют отношение i<j<k

Т.е.;

Если l=[1,2,3,4,5,6], то кортежи будут [1,2,6], [1,3,6],[1,2,4], поэтому COUNT будет 3.

Если l=[1,1,1], то единственным кортежем будет [1,1,1], поэтому COUNT будет равным 1.

Вот что я сделал до сих пор, используя списки:

def myCOUNT(l):
    newlist=[[x,y,z] for x in l for y in l for z in l if (z%y==0 and y%x==0 and l.index(x)<l.index(y) and l.index(y)<l.index(z))]
    return len(newlist)

>>>l=[1,2,3,4,5,6]
>>>myCOUNT(l)
3

Это работает, но по мере того, как l становится длиннее (и может достигать 2000 элементов), время, которое требуется, увеличивается слишком сильно. Есть ли более быстрый/лучший способ сделать это?

Ответ 1

Мы можем подсчитать количество троек с заданным числом посередине, подсчитав, сколько факторов этого числа осталось слева от него, подсчитывая, сколько кратных этого числа справа от них и умножается. Выполнение этого для любого заданного среднего элемента - это O (n) для списка длины-n, и для всех n возможных средних элементов это O (n ^ 2).

def num_triples(l):
    total = 0
    for mid_i, mid in enumerate(l):
        num_left = sum(1 for x in l[:mid_i] if mid % x == 0)
        num_right = sum(1 for x in l[mid_i+1:] if x % mid == 0)
        total += num_left * num_right
    return total

Кстати, код в вашем вопросе на самом деле не работает. Он попал в общую ловушку для новичков, указав index вместо того чтобы использовать enumerate для получения индексов итераций. Это не так просто, но на самом деле это неправильно, когда на входе есть повторяющиеся элементы, заставляя ваш myCOUNT возвращать 0 вместо 1 на примере ввода [1, 1, 1].

Ответ 2

Поиск всех кортежей в O (n ²)

Алгоритм алгоритма повторяется во всех возможных комбинациях, что делает его O (n ³).

Вместо этого вы должны прекомпилировать дерево разделения вашего списка чисел и восстановить троек с путей по дереву.

Дерево отделки

Дерево деления - это граф, узлы которого являются числами, а дети являются кратными каждому числу.

Например, учитывая список [1, 2, 3, 4], дерево деления выглядит так.

   1
  /|\
 2 | 3
  \|
   4

Вычисление дерева деления требует сравнить каждое число против всех остальных, создавая его создание O (n ²).

Вот базовая реализация дерева разделов, которое может быть использовано для вашей проблемы.

class DivisionTree:
    def __init__(self, values):
        values = sorted(values)

        # For a division-tree to be connected, we need 1 to be its head
        # Thus we artificially add it and note whether it was actually in our numbers
        if 1 in values:
            self._has_one = True
            values = values[1:]
        else:
            self._has_one = False

        self._graph = {1: []}

        for v in values:
            self.insert(v)

    def __iter__(self):
        """Iterate over all values of the division-tree"""
        yield from self._graph

    def insert(self, n):
        """Insert value in division tree, adding it as child of each divisor"""
        self._graph[n] = []

        for x in self:
            if n != x and n % x == 0:
                self._graph[x].append(n)

    def paths(self, depth, _from=1):
        """Return a generator of all paths of *depth* down the division-tree"""
        if _from == 1:
            for x in self._graph[_from]:
                yield from self.paths(depth , _from=x)

        if depth == 1:
            yield [_from]
            return

        if _from != 1 or self._has_one:
            for x in self._graph[_from]:
                for p in self.paths(depth - 1, _from=x):
                    yield [_from, *p]

использование

Когда мы построили DivisionTree, достаточно выполнить итерацию по всем путям по графику и выбрать только те, которые имеют длину 3.

пример

l = [1,2,3,4,5,6]

dt = DivisionTree(l)

for p in dt.paths(3):
    print(p)

Выход

[1, 2, 4]
[1, 2, 6]
[1, 3, 6]

Это решение предполагает, что список номеров изначально отсортирован, как в вашем примере. Хотя выход можно отфильтровать относительно условия на индексы i < j < k чтобы обеспечить более общее решение.

Сложность времени

Генерирование дерева деления - O (n ²).

В свою очередь, может быть до n! разные пути, хотя остановка итерации всякий раз, когда мы идем глубже, чем 3, препятствует их перемещению. Это заставляет нас перебирать по следующим путям:

пути, соответствующие трем кортежам, говорят, что их m;
пути, соответствующие двум кортежам, из них O (n ²);
пути, соответствующие одному кортежу, есть O (n) из них.

Таким образом, это в целом дает алгоритм O (n ² + m).

Ответ 3

Я полагаю, что это решение без понимания списка будет быстрее (вы также можете увидеть аналог со списком):

a = [1, 2, 3, 4, 5, 6]

def count(a):   
    result = 0
    length = len(a)

    for i in range(length):
        for j in range(i + 1, length):
            for k in range(j + 1, length):
                if a[j] % a[i] == 0 and a[k] % a[j] == 0:
                    result += 1

    return result

print(count(a))

Выход:

В вашем методе index решения слишком дорог (требуется O (n) операций). Также вам не нужно перебирать полный список для каждого x, y и z (x = a[i], y = a[j], z = a[k]). Обратите внимание, как я использую индексы в моих циклах для y и z потому что я знаю, что всегда выполняется a.index(x) < a.index(y) < a.index(z).

Вы можете написать это как один вкладыш:

def count(a):   
    length = len(a)

    return sum(1 for i in range(length)
               for j in range(i + 1, length)
               for k in range(j + 1, length)
               if a[j] % a[i] == 0 and a[k] % a[j] == 0)

PS Пожалуйста, не используйте букву l для имен переменных, потому что она очень похожа на 1 :)

Ответ 4

Существует способ сделать это с помощью комбинаций itertools:

from itertools import combinations 
l=[1,2,3,4,5,6] 

>>> [(x,y,z) for x,y,z in combinations(l,3) if z%y==0 and y%x==0]
[(1, 2, 4), (1, 2, 6), (1, 3, 6)]

Поскольку комбинации генерируют кортежи в порядке списка, вам не нужно проверять индекс z.

Тогда ваша функция myCOUNT станет:

def cnt(li):
    return sum(1 for x,y,z in combinations(li,3) if z%y==0 and y%x==0)

>>> cnt([1,1,1])
1
>>> cnt([1,2,3,4,5,6])
3

Это известная проблема.

Ниже приведены некоторые моменты для решений:

from itertools import combinations 

class DivisionTree:
    def __init__(self, values):    
        # For a division-tree to be connected, we need 1 to be its head
        # Thus we artificially add it and note whether it was actually in our numbers
        if 1 in values:
            self._has_one = True
            values = values[1:]
        else:
            self._has_one = False

        self._graph = {1: []}

        for v in values:
            self.insert(v)

    def __iter__(self):
        """Iterate over all values of the division-tree"""
        yield from self._graph

    def insert(self, n):
        """Insert value in division tree, adding it as child of each divisor"""
        self._graph[n] = []

        for x in self:
            if n != x and n % x == 0:
                self._graph[x].append(n)

    def paths(self, depth, _from=1):
        """Return a generator of all paths of *depth* down the division-tree"""
        if _from == 1:
            for x in self._graph[_from]:
                yield from self.paths(depth , _from=x)

        if depth == 1:
            yield [_from]
            return

        if _from != 1 or self._has_one:
            for x in self._graph[_from]:
                for p in self.paths(depth - 1, _from=x):
                    yield [_from, *p]


def f1(li):
    return sum(1 for x,y,z in combinations(li,3) if z%y==0 and y%x==0)

def f2(l):
    newlist=[[x,y,z] for x in l for y in l for z in l if (z%y==0 and y%x==0 and l.index(x)<l.index(y) and l.index(y)<l.index(z))]
    return len(newlist)

def f3(a):   
    result = 0
    length = len(a)

    for i in range(length):
        for j in range(i + 1, length):
            for k in range(j + 1, length):
                if a[j] % a[i] == 0 and a[k] % a[j] == 0:
                    result += 1

    return result

def f4(l):
    dt = DivisionTree(l)
    return sum(1 for _ in dt.paths(3))  

def f5(l):
    total = 0
    for mid_i, mid in enumerate(l):
        num_left = sum(1 for x in l[:mid_i] if mid % x == 0)
        num_right = sum(1 for x in l[mid_i+1:] if x % mid == 0)
        total += num_left * num_right
    return total    


if __name__=='__main__':
    import timeit
    tl=list(range(3,155))
    funcs=(f1,f2,f3,f4,f5)
    td={f.__name__:f(tl) for f in funcs}
    print(td)
    for case, x in (('small',50),('medium',500),('large',5000)):
        li=list(range(2,x))
        print('{}: {} elements'.format(case,x))
        for f in funcs:
            print("   {:^10s}{:.4f} secs".format(f.__name__, timeit.timeit("f(li)", setup="from __main__ import f, li", number=1)))

И результаты:

{'f1': 463, 'f2': 463, 'f3': 463, 'f4': 463, 'f5': 463}
small: 50 elements
       f1    0.0010 secs
       f2    0.0056 secs
       f3    0.0018 secs
       f4    0.0003 secs
       f5    0.0002 secs
medium: 500 elements
       f1    1.1702 secs
       f2    5.3396 secs
       f3    1.8519 secs
       f4    0.0156 secs
       f5    0.0110 secs
large: 5000 elements
       f1    1527.4956 secs
       f2    6245.9930 secs
       f3    2074.2257 secs
       f4    1.3492 secs
       f5    1.2993 secs

Вы можете видеть, что f1,f2,f3 явно O (n ^ 3) или хуже, а f4,f5 - O (n ^ 2). f2 заняло более 90 минут за то, что f4 и f5 сделали за 1,3 секунды.

Ответ 5

Решение в O (M * log (M)) для отсортированного списка, содержащего положительные числа

Как ответил user2357112, мы можем подсчитать количество триплетов в O (n ^ 2), вычислив для каждого числа число его коэффициентов и кратность. Однако, если вместо сравнения каждой пары мы переходим через ее кратность меньше наибольшего числа и проверяем, находятся ли они в списке, мы можем изменить эффективность на O (N + M * log (N)), когда M является наибольшим число в списке.

Код:

def countTriples(myList):
    counts = {} #Contains the number of appearances of every number.
    factors = {} #Contains the number of factors of every number.
    multiples = {} #Contains the number of multiples of every number.

    for i in myList: #Initializing the dictionaries.
        counts[i] = 0
        factors[i] = 0
        multiples[i] = 0

    maxNum = max(myList) #The maximum number in the list.

    #First, we count the number of appearances of every number.
    for i in myList:
        counts[i] += 1

    #Then, for every number in the list, we check whether its multiples are in the list.
    for i in counts:
        for j in range(2*i, maxNum+1, i):
            if(counts.has_key(j)):
                factors[j] += counts[i]
                multiples[i] += counts[j]

    #Finally, we count the number of triples.
    ans = 0
    for i in counts:
        ans += counts[i]*factors[i]*multiples[i] #Counting triplets with three numbers.
        ans += counts[i]*(counts[i]-1)*factors[i]/2 #Counting triplets with two larger and one smaller number.
        ans += counts[i]*(counts[i]-1)*multiples[i]/2 #Counting triplets with two smaller numbers and one larger number.
        ans += counts[i]*(counts[i]-1)*(counts[i]-2)/6 #Counting triplets with three copies of the same number.

    return ans

Хотя это решение будет быстро работать для списков, содержащих множество небольших чисел, оно не будет работать для списков, содержащих большие числа:

countTriples(list(range(1,1000000)) #Took 80 seconds on my computer
countTriples([1,2,1000000000000]) #Will take a very long time

Быстрое решение с неизвестной эффективностью для несортированных списков

Другим методом подсчета количества кратных и коэффициентов каждого числа в списке будет использование структуры данных двоичного дерева, причем листья соответствуют номерам. Структура данных поддерживает три операции:

1) Добавьте число в каждую позицию, кратное числу.

2) Добавьте число в каждую позицию, указанную в наборе.

3) Получите значение позиции.

Мы используем ленивое распространение и распространяем обновления от корня до нижних узлов только во время запросов.

Чтобы найти количество факторов каждого элемента в списке, мы перебираем список, запрашиваем количество факторов текущего элемента из структуры данных и добавляем 1 к каждой позиции, которая кратно элементу.

Чтобы найти число кратных каждому элементу, мы сначала найдем для каждого элемента в списке все его факторы, используя алгоритм, описанный в предыдущем решении.

Затем мы перебираем список в обратном порядке. Для каждого элемента мы запрашиваем количество его кратных из структуры данных и добавляем 1 к его факторам в структуре данных.

Наконец, для каждого элемента добавим умножение его коэффициентов и умножим на ответ.