Кто-нибудь, как сделать разбиение на страницы в искровом sql-запросе?
Мне нужно использовать искру sql, но не знаю, как сделать разбиение на страницы.
Пробовал:
select * from person limit 10, 10
Ответ 1
ответ karthik не удастся, если в кадре данных есть повторяющиеся строки. 'except' удалит все строки в df1, которые находятся в df2.
val filteredRdd = df.rdd.zipWithIndex().collect { case (r, i) if 10 >= start && i <=20 => r }
val newDf = sqlContext.createDataFrame(filteredRdd, df.schema)
Ответ 2
В настоящее время нет поддержки для смещения в искровом sql. Один из альтернатив, который вы можете использовать для подкачки, - DataFrames с помощью метода except.
Пример. Вы хотите выполнить итерацию с пределом пейджинга 10, вы можете сделать следующее: