У меня есть dataframe с некоторыми (сотнями) миллионами строк. И я хочу эффективно преобразовать дату и время в метку времени. Как я могу это сделать?
Мой пример df
:
df = pd.DataFrame(index=pd.DatetimeIndex(start=dt.datetime(2016,1,1,0,0,1),
end=dt.datetime(2016,1,2,0,0,1), freq='H'))\
.reset_index().rename(columns={'index':'datetime'})
df.head()
datetime
0 2016-01-01 00:00:01
1 2016-01-01 01:00:01
2 2016-01-01 02:00:01
3 2016-01-01 03:00:01
4 2016-01-01 04:00:01
Теперь я конвертирую datetime в значение timestamp value-by-value с .apply()
, но требуется очень много времени (несколько часов), если у меня есть несколько (сотни миллионов) строк:
df['ts'] = df[['datetime']].apply(lambda x: x[0].timestamp(), axis=1).astype(int)
df.head()
datetime ts
0 2016-01-01 00:00:01 1451602801
1 2016-01-01 01:00:01 1451606401
2 2016-01-01 02:00:01 1451610001
3 2016-01-01 03:00:01 1451613601
4 2016-01-01 04:00:01 1451617201
Вышеприведенный результат - это то, что я хочу.
Если я пытаюсь использовать .dt
accessor pandas.Series
, то я получаю сообщение об ошибке:
df['ts'] = df['datetime'].dt.timestamp
AttributeError: объект DatetimeProperties не имеет атрибута 'Метка времени'
Если я попытаюсь создать, например. части даты datetimes с помощью .dt
accessor, то это намного быстрее, чем с помощью .apply()
:
df['date'] = df['datetime'].dt.date
df.head()
datetime ts date
0 2016-01-01 00:00:01 1451602801 2016-01-01
1 2016-01-01 01:00:01 1451606401 2016-01-01
2 2016-01-01 02:00:01 1451610001 2016-01-01
3 2016-01-01 03:00:01 1451613601 2016-01-01
4 2016-01-01 04:00:01 1451617201 2016-01-01
Я хочу что-то подобное с отметками времени...
Но я действительно не понимаю официальную документацию: он говорит о "" Преобразование в метки времени", но я не вижу никаких временных меток там; он просто говорит о преобразовании в datetime с pd.to_datetime()
, но не в метку времени...
pandas.Timestamp
также не работает (возвращается с ошибкой ниже):
df['ts2'] = pd.Timestamp(df['datetime'])
TypeError: Невозможно преобразовать ввод в метку времени
pandas.Series.to_timestamp
также делает что-то совершенно другое, что я хочу:
df['ts3'] = df['datetime'].to_timestamp
df.head()
datetime ts ts3
0 2016-01-01 00:00:01 1451602801 <bound method Series.to_timestamp of 0 2016...
1 2016-01-01 01:00:01 1451606401 <bound method Series.to_timestamp of 0 2016...
2 2016-01-01 02:00:01 1451610001 <bound method Series.to_timestamp of 0 2016...
3 2016-01-01 03:00:01 1451613601 <bound method Series.to_timestamp of 0 2016...
4 2016-01-01 04:00:01 1451617201 <bound method Series.to_timestamp of 0 2016...
Спасибо!