Я разбиваю DataFrame следующим образом:
df.write.partitionBy("type", "category").parquet(config.outpath)
Код дает ожидаемые результаты (т.е. данные, разделенные по типу и категории). Однако столбцы "тип" и "категория" удаляются из данных/схемы. Есть ли способ предотвратить это поведение?