Я новичок в Spark, и я пытаюсь использовать некоторые совокупные функции, такие как sum или avg. Мой запрос в искровой оболочке отлично работает:
val somestats = pf.groupBy("name").agg(sum("days")).show()
Когда я пытаюсь запустить его из проекта scala, он не работает, бросая сообщение об ошибке
not found: value sum
Я попытался добавить
import sqlContext.implicits._
import org.apache.spark.SparkContext._
перед командой, но это не помогает. Моя искра версии 1.4.1 Я что-то пропустил?