Вступление
Код R написан с использованием пакета Sparklyr для создания схемы базы данных. [Воспроизводится код и база данных]
Существующий результат
root
|-- contributors : string
|-- created_at : string
|-- entities (struct)
| |-- hashtags (array) : [string]
| |-- media (array)
| | |-- additional_media_info (struct)
| | | |-- description : string
| | | |-- embeddable : boolean
| | | |-- monetizable : bollean
| | |-- diplay_url : string
| | |-- id : long
| | |-- id_str : string
| |-- urls (array)
|-- extended_entities (struct)
|-- retweeted_status (struct)
|-- user (struct)
Я хочу сгладить эту структуру, как показано ниже,
ожидаемый результат
root
|-- contributors : string
|-- created_at : string
|-- entities (struct)
|-- entities.hashtags (array) : [string]
|-- entities.media (array)
|-- entities.media.additional_media_info (struct)
|-- entities.media.additional_media_info.description : string
|-- entities.media.additional_media_info.embeddable : boolean
|-- entities.media.additional_media_info.monetizable : bollean
|-- entities.media.diplay_url : string
|-- entities.media.id : long
|-- entities.media.id_str : string
|-- entities.urls (array)
|-- extended_entities (struct)
|-- retweeted_status (struct)
|-- user (struct)
База данных Перейдите к: Data-178 KB. Затем скопируйте пронумерованные элементы в текстовый файл с именем "example". Сохраните в каталог с именем "../example.json/", созданный в вашем рабочем каталоге.
Код R записывается для воспроизведения примера, как показано ниже,
Выход из кода
library(sparklyr)
library(dplyr)
library(devtools)
devtools::install_github("mitre/sparklyr.nested")
# If Spark is not installed, then also need:
# spark_install(version = "2.2.0")
library(sparklyr.nested)
library(testthat)
library(jsonlite)
Sys.setenv(SPARK_HOME="/usr/lib/spark")
conf <- spark_config()
conf$'sparklyr.shell.executor-memory' <- "20g"
conf$'sparklyr.shell.driver-memory' <- "20g"
conf$spark.executor.cores <- 16
conf$spark.executor.memory <- "20G"
conf$spark.yarn.am.cores <- 16
conf$spark.yarn.am.memory <- "20G"
conf$spark.executor.instances <- 8
conf$spark.dynamicAllocation.enabled <- "false"
conf$maximizeResourceAllocation <- "true"
conf$spark.default.parallelism <- 32
sc <- spark_connect(master = "local", config = conf, version = '2.2.0') # Connection
sample_tbl <- spark_read_json(sc,name="example",path="example.json", header = TRUE, memory = FALSE, overwrite = TRUE)
sdf_schema_viewer(sample_tbl) # to create db schema
Усилия, предпринятые
Используется jsonlite. Но он не может читать большой файл и внутри кусков. Это заняло не окончание времени. Итак, я повернулся к Спарклыру, поскольку он задумывался и читал 1 миллиард записей за несколько секунд. Я сделал дальнейшее исследование для выравнивания записей до уровня глубокого гнездования (поскольку сплющивание выполняется в jsonlite пакете с помощью функции flatten flatten()
). Но в Sparklyr такой возможности нет. В Спарклыре можно было только сгладить 1-й уровень.
Я хочу сгладить данные разных типов данных и хочу, чтобы результат в CSV файле.