У меня есть dataframe df
, который содержит один столбец массива типов
df.show()
выглядит как
|ID|ArrayOfString|Age|Gender|
+--+-------------+---+------+
|1 | [A,B,D] |22 | F |
|2 | [A,Y] |42 | M |
|3 | [X] |60 | F |
+--+-------------+---+------+
Я пытаюсь сбросить этот df
в файле csv следующим образом:
val dumpCSV = df.write.csv(path="/home/me/saveDF")
Он не работает из-за столбца ArrayOfString
. Я получаю сообщение об ошибке:
Источник данных CSV не поддерживает тип данных строки массива
Код работает, если я удаляю столбец ArrayOfString
. Но мне нужно сохранить ArrayOfString
!
Каким будет лучший способ сбросить фреймворк csv, включая столбец ArrayOfString (ArrayOfString должен быть сброшен как один столбец в файле CSV)