Контекст: у меня есть DataFrame
с 2 столбцами: слово и вектор. Где тип столбца "вектор" является VectorUDT
.
Пример:
word | vector
assert | [435,323,324,212...]
И я хочу получить это:
word | v1 | v2 | v3 | v4 | v5 | v6 ......
assert | 435 | 5435| 698| 356|....
Вопрос:
Как разделить столбец с векторами на несколько столбцов для каждого измерения с помощью PySpark?
заранее спасибо