Я пытаюсь использовать Cython для ускорения вычисления Pandas DataFrame, которое относительно просто: итерации по каждой строке в DataFrame, добавьте эту строку себе и всем остальным строкам в DataFrame, суммируйте их по каждой строке, и выведите список этих сумм. Длина этих рядов будет уменьшаться по мере исчерпания строк в DataFrame. Эти серии хранятся в виде словаря с номером строки индекса.
def foo(df):
vals = {i: (df.iloc[i, :] + df.iloc[i:, :]).sum(axis=1).values.tolist()
for i in range(df.shape[0])}
return vals
Помимо добавления %%cython
в начало этой функции, есть ли у кого-нибудь рекомендации о том, как я буду использовать cdefs
для преобразования значений DataFrame в double, а затем cythonize этого кода?
Ниже приведены некоторые фиктивные данные:
>>> df
A B C D E
0 -0.326403 1.173797 1.667856 -1.087655 0.427145
1 -0.797344 0.004362 1.499460 0.427453 -0.184672
2 -1.764609 1.949906 -0.968558 0.407954 0.533869
3 0.944205 0.158495 -1.049090 -0.897253 1.236081
4 -2.086274 0.112697 0.934638 -1.337545 0.248608
5 -0.356551 -1.275442 0.701503 1.073797 -0.008074
6 -1.300254 1.474991 0.206862 -0.859361 0.115754
7 -1.078605 0.157739 0.810672 0.468333 -0.851664
8 0.900971 0.021618 0.173563 -0.562580 -2.087487
9 2.155471 -0.605067 0.091478 0.242371 0.290887
и ожидаемый результат:
>>> foo(df)
{0: [3.7094795101205236,
2.8039983729106,
2.013301815968468,
2.24717712931852,
-0.27313665495940964,
1.9899718844711711,
1.4927321304935717,
1.3612155622947018,
0.3008239883773878,
4.029880107986906],
. . .
6: [-0.72401524913338,
-0.8555318173322499,
-1.9159233912495635,
1.813132728359954],
7: [-0.9870483855311194, -2.047439959448434, 1.6816161601610844],
8: [-3.107831533365748, 0.6212245862437702],
9: [4.350280705853288]}