У меня есть пример приложения, работающего для чтения из файлов csv в dataframe. Информационный кадр можно хранить в таблице "Улов" в паркетном формате, используя метод
df.saveAsTable(tablename,mode)
.
Вышеприведенный код работает отлично, но у меня так много данных за каждый день, что я хочу динамически разбивать таблицу улья на основе createdate (столбец в таблице).
существует ли какой-либо способ динамического разбиения файловой рамки и хранения ее на склад хранилища. Хотите воздержаться от жесткого кодирования инструкции insert с помощью hivesqlcontext.sql(insert into table partittioin by(date)....)
.
Вопрос можно рассматривать как расширение: Как сохранить DataFrame непосредственно в Hive?
любая помощь очень ценится.