Я использую следующий код для сохранения искрового файла DataFrame в файл JSON
unzipJSON.write.mode("append").json("/home/eranw/Workspace/JSON/output/unCompressedJson.json")
результат вывода:
part-r-00000-704b5725-15ea-4705-b347-285a4b0e7fd8
.part-r-00000-704b5725-15ea-4705-b347-285a4b0e7fd8.crc
part-r-00001-704b5725-15ea-4705-b347-285a4b0e7fd8
.part-r-00001-704b5725-15ea-4705-b347-285a4b0e7fd8.crc
_SUCCESS
._SUCCESS.crc
- Как создать отдельный файл JSON, а не файл в строке?
- Как я могу избежать * crc файлов?
- Как я могу избежать файла SUCCESS?