Я создал SQLite базу данных, используя pandas df.to_sql однако доступ к ней, кажется, значительно медленнее, чем просто чтение в файле CSV 500MB.
Мне нужно:
- установить первичный ключ для каждой таблицы с помощью метода df.to_sql
- сообщите базе данных sqlite, какой тип данных каждый из столбцов в моем 3.dataframe есть? - могу ли я передать список как [целое число, целое число, текст, текст]
code.... (кнопка форматирования кода не работает)
if ext == ".csv":
df = pd.read_csv("/Users/data/" +filename)
columns = df.columns columns = [i.replace(' ', '_') for i in columns]
df.columns = columns
df.to_sql(name,con,flavor='sqlite',schema=None,if_exists='replace',index=True,index_label=None, chunksize=None, dtype=None)