Предположим, что df
является файловой рамкой в Spark. Способ записи df
в один CSV файл
df.coalesce(1).write.option("header", "true").csv("name.csv")
Это запишет dataframe в файл CSV, содержащийся в папке с именем name.csv
но фактический файл CSV будет называться чем-то вроде part-00000-af091215-57c0-45c4-a521-cd7d9afb5e54.csv
.
Я хотел бы знать, можно ли избежать папки name.csv
и иметь фактический CSV файл с именем name.csv
а не part-00000-af091215-57c0-45c4-a521-cd7d9afb5e54.csv
. Причина в том, что мне нужно написать несколько файлов CSV, которые позже я буду читать вместе на Python, но мой код Python использует фактические имена CSV, а также должен иметь все отдельные файлы CSV в папке (а не в папке папок).
Любая помощь приветствуется.