У меня есть два dataframes, оба индексируются timeseries. Мне нужно добавить элементы вместе, чтобы сформировать новый dataframe, но только если индекс и столбец совпадают. Если элемент не существует в одном из dataframe, тогда его следует рассматривать как ноль.
Я пробовал использовать .add, но эти суммы не зависят от индекса и столбца. Также попробовал простой combined_data = dataframe1 + dataframe2, но это дает NaN, если оба файла данных не имеют элемента.
Любые предложения?
Как насчет x.add(y, fill_value=0)?
import pandas as pd
df1 = pd.DataFrame([(1,2),(3,4),(5,6)], columns=['a','b'])
Out:
a b
0 1 2
1 3 4
2 5 6
df2 = pd.DataFrame([(100,200),(300,400),(500,600)], columns=['a','b'])
Out:
a b
0 100 200
1 300 400
2 500 600
df_add = df1.add(df2, fill_value=0)
Out:
a b
0 101 202
1 303 404
2 505 606
Если вы правильно поняли, вам нужно что-то вроде:
(x.reindex_like(y).fillna(0) + y.fillna(0)).fillna(0)
Это даст сумму двух данных. Если значение находится в одном кадре данных, а не другом, результатом в этой позиции будет существующее значение. Если в обоих кадрах данных отсутствует значение, результат в этой позиции будет равен нулю.
>>> x
A B C
0 1 2 NaN
1 3 NaN 4
>>> y
A B C
0 8 NaN 88
1 2 NaN 5
2 10 11 12
>>> (x.reindex_like(y).fillna(0) + y.fillna(0)).fillna(0)
A B C
0 9 2 88
1 5 0 9
2 10 11 12
Для получения более общего ответа... сначала я возьму общий индекс для синхронизации обоих фреймов данных, затем я присоединю каждый из них к моему шаблону (даты), и я буду суммировать столбцы одно и то же имя и, наконец, присоединяются к обеим кадрам данных (удаляя добавленные столбцы в одном из них),
здесь вы можете увидеть пример (с ценами акций google из Google):
import numpy as np
import pandas as pd
import datetime as dt
prices = pd.DataFrame([[553.0, 555.5, 549.3, 554.11, 0],
[556.8, 556.8, 544.05, 545.92, 545.92],
[545.5, 546.89, 540.97, 542.04, 542.04]],
index=[dt.datetime(2014,11,04), dt.datetime(2014,11,05), dt.datetime(2014,11,06)],
columns=['Open', 'High', 'Low', 'Close', 'Adj Close'])
corrections = pd.DataFrame([[0, 555.22], [1238900, 0]],
index=[dt.datetime(2014,11,3), dt.datetime(2014,11,4)],
columns=['Volume', 'Adj Close'])
dates = pd.DataFrame(prices.index, columns = ['Dates']).append(pd.DataFrame(corrections.index, columns = ['Dates'])).drop_duplicates('Dates').set_index('Dates').sort(axis=0)
df_corrections = dates.join(corrections).fillna(0)
df_prices = dates.join(prices).fillna(0)
for col in prices.columns:
if col in corrections.columns:
df_prices[col]+=df_corrections[col]
del df_corrections[col]
df_prices = df_prices.join(df_corrections)
Оба вышеупомянутых ответа - fillna(0) и непосредственное добавление дадут вам значения Nan, если каждая из них имеет разные структуры.
Лучше использовать fill_value
df.add(other_df, fill_value=0)