Я работаю со Spark и PySpark. Я пытаюсь добиться результата, эквивалентного следующему псевдокоду:
df = df.withColumn('new_column',
IF fruit1 == fruit2 THEN 1, ELSE 0. IF fruit1 IS NULL OR fruit2 IS NULL 3.)
Я пытаюсь сделать это в PySpark, но я не уверен в синтаксисе. Есть указатели? Я посмотрел в expr()
но не смог заставить его работать.
Обратите внимание, что df
является pyspark.sql.dataframe.DataFrame
.