Я успешно создал row_number()
partitionBy
в Spark, используя Window, но хотел бы отсортировать его по убыванию, а не по умолчанию. Вот мой рабочий код:
from pyspark import HiveContext
from pyspark.sql.types import *
from pyspark.sql import Row, functions as F
from pyspark.sql.window import Window
data_cooccur.select("driver", "also_item", "unit_count",
F.rowNumber().over(Window.partitionBy("driver").orderBy("unit_count")).alias("rowNum")).show()
Это дает мне такой результат:
+------+---------+----------+------+
|driver|also_item|unit_count|rowNum|
+------+---------+----------+------+
| s10| s11| 1| 1|
| s10| s13| 1| 2|
| s10| s17| 1| 3|
И здесь я добавляю desc() для упорядочения по убыванию:
data_cooccur.select("driver", "also_item", "unit_count", F.rowNumber().over(Window.partitionBy("driver").orderBy("unit_count").desc()).alias("rowNum")).show()
И получите эту ошибку:
AttributeError: объект "WindowSpec" не имеет атрибута "desc"
Что я здесь делаю неправильно?