У меня есть набор данных следующим образом:
FieldA FieldB ArrayField
1 A {1,2,3}
2 B {3,5}
Я хотел бы взорвать данные на ArrayField, чтобы результат выглядел следующим образом:
FieldA FieldB ExplodedField
1 A 1
1 A 2
1 A 3
2 B 3
2 B 5
Я имею в виду, что я хочу создать выходную строку для каждого элемента массива в массиве ArrayField, сохраняя значения других полей.
Как бы вы реализовали его в Spark. Обратите внимание, что входной набор данных очень большой.