Я хотел бы выполнить действие на одном столбце. К сожалению, после того, как я преобразовал этот столбец, он больше не является частью кадра данных, из которого он получен, а стал объектом Column. Как таковой, он не может быть собран.
Вот пример:
df = sqlContext.createDataFrame([Row(array=[1,2,3])])
df['array'].collect()
Это приводит к следующей ошибке:
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: 'Column' object is not callable
Как я могу использовать функцию collect() для одного столбца?