У меня есть этот файл JSON
{
"a": 1,
"b": 2
}
который был получен с помощью метода python json.dump. Теперь я хочу прочитать этот файл в DataFrame в Spark, используя pyspark. Следуя документации, я делаю это
sc = SparkContext()
sqlc = SQLContext (sc)
df = sqlc.read.json('my_file.json')
print df.show()
Оператор печати выплевывает это, хотя:
+---------------+
|_corrupt_record|
+---------------+
| {|
| "a": 1, |
| "b": 2|
| }|
+---------------+
Кто-нибудь знает, что происходит и почему он не интерпретирует файл правильно?