У меня есть этот код:
l = [('Alice', 1),('Jim',2),('Sandra',3)]
df = sqlContext.createDataFrame(l, ['name', 'age'])
df.withColumn('age2', df.age + 2).toPandas()
Хорошо работает, делает то, что ему нужно. Предположим, хотя я хочу отобразить только первые n строк, а затем вызвать toPandas()
, чтобы вернуть фреймворк pandas. Как мне это сделать? Я не могу вызвать take(n)
, потому что это не возвращает фрейм данных, и поэтому я не могу передать его toPandas()
.
Итак, иначе, как я могу взять верхние n строк из фрейма данных и вызвать toPandas()
на результирующем фрейме? Не думаю, что это сложно, но я не могу понять.
Я использую Spark 1.6.0.