Более быстрая загрузка csv с индексом datetime pandas

Я часто повторяю данные о финансовых ценах, хранящиеся в файле csv. Как доступность использования объектов pandas datetime для подмножества и организации данных, когда весь мой анализ выполняется относительно времени.

Моя проблема в том, что когда я читаю файл в памяти своего компьютера, bothe аргумент parse_dates, поставленный top pandas.read_csv(), а pandas.to_datetime() невероятно дорогостоящий.

Кто-нибудь знает лучший способ иметь дело с отметками времени в python, которые могут быть оптимизированы для запуска многих файлов, которые необходимо загрузить в память?

%timeit pd.read_csv("C:\\Users\\rgalbo\\Desktop\\Equity\\Data\\sp - working data\\30min--Adj\\AAPL_24.csv",index_col=[0])

10 loops, best of 3: 112 ms per loop

с parse_date = True

%timeit pd.read_csv("C:\\Users\\rgalbo\\Desktop\\Equity\\Data\\sp - working data\\30min--Adj\\AAPL_24.csv",index_col=[0],parse_dates=True)

1 loops, best of 3: 7.5 s per loop

ОТВЕТЫ

Ответ 1

после тестирования нескольких параметров загрузки и разбора файла csv с 13,811,418 строк, имеющих 98 уникальных значений даты, мы пришли к приведенному ниже фрагменту и выяснили, что если мы передадим параметр format с предопределенным форматом даты ( "% m/% d/% Y" в нашем случае), мы могли бы достичь 2.52 s с помощью Pandas.0.15.3.

def to_date(dates, lookup=False, **args):
    if lookup:
        return dates.map({v: pd.to_datetime(v, **args) for v in dates.unique()})
    return pd.to_datetime(dates, **args)
  • также использовать coerce = True (или coarse = 'raise' в более поздних версиях) для включения проверки формата даты, в противном случае значения ошибок сохраняются как строковое значение и приводят к ошибке, когда любая другая дата- временная операция выполняется в столбце dataframe.