Я использую Spark 1.3 и хотел бы присоединиться к нескольким столбцам, используя интерфейс python (SparkSQL)
Следующие работы:
Я сначала регистрирую их как временные таблицы.
numeric.registerTempTable("numeric")
Ref.registerTempTable("Ref")
test = numeric.join(Ref, numeric.ID == Ref.ID, joinType='inner')
Теперь я хотел бы присоединиться к ним на основе нескольких столбцов.
Я получаю SyntaxError
: недопустимый синтаксис с этим:
test = numeric.join(Ref,
numeric.ID == Ref.ID AND numeric.TYPE == Ref.TYPE AND
numeric.STATUS == Ref.STATUS , joinType='inner')