Я начинаю искру, и я хочу преобразовать ниже исходный dataframe (загрузка из файла JSON):
+--+-----+-----+
|A |count|major|
+--+-----+-----+
| a| 1| m1|
| a| 1| m2|
| a| 2| m3|
| a| 3| m4|
| b| 4| m1|
| b| 1| m2|
| b| 2| m3|
| c| 3| m1|
| c| 4| m3|
| c| 5| m4|
| d| 6| m1|
| d| 1| m2|
| d| 2| m3|
| d| 3| m4|
| d| 4| m5|
| e| 4| m1|
| e| 5| m2|
| e| 1| m3|
| e| 1| m4|
| e| 1| m5|
+--+-----+-----+
В ниже файл данных результата:
+--+--+--+--+--+--+
|A |m1|m2|m3|m4|m5|
+--+--+--+--+--+--+
| a| 1| 1| 2| 3| 0|
| b| 4| 2| 1| 0| 0|
| c| 3| 0| 4| 5| 0|
| d| 6| 1| 2| 3| 4|
| e| 4| 5| 1| 1| 1|
+--+--+--+--+--+--+
Вот правило Трансформации:
-
Результирующий фрейм данных состоит из
A + (n major columns)
, где имена столбцовmajor
указаны:sorted(src_df.map(lambda x: x[2]).distinct().collect())
-
В кадре данных результата содержатся строки
m
, где значения для столбцаA
предоставляются:sorted(src_df.map(lambda x: x[0]).distinct().collect())
-
Значение для каждого основного столбца в фрейме данных результата - это значение из исходного кадра данных на соответствующем
A
и майоре (например, подсчет в строке 1 в исходном фрейме данных отображается наbox
, гдеA
естьA
и столбецm1
) -
Комбинации
A
иmajor
в исходном фрейме данных не имеют дублирования (рассмотрите его как первичный ключ в двух столбцах в SQL)