У меня есть dataframe с несколькими столбцами. Теперь я хочу получить новый столбец из двух других столбцов:
from pyspark.sql import functions as F
new_df = df.withColumn("new_col", F.when(df["col-1"] > 0.0 & df["col-2"] > 0.0, 1).otherwise(0))
С этим я получаю только исключение:
py4j.Py4JException: Method and([class java.lang.Double]) does not exist
Он работает только с одним из таких условий:
new_df = df.withColumn("new_col", F.when(df["col-1"] > 0.0, 1).otherwise(0))
Кто-нибудь знает, чтобы использовать несколько условий?
Я использую Spark 1.4.