Я создаю новый Dataframe из существующего фрейма данных, но вам нужно добавить новый столбец ( "field1" в нижнем коде) в этот новый DF. Как мне это сделать? Пример примера примерного примера будет оценен.
val edwDf = omniDataFrame
.withColumn("field1", callUDF((value: String) => None))
.withColumn("field2",
callUdf("devicetypeUDF", (omniDataFrame.col("some_field_in_old_df"))))
edwDf
.select("field1", "field2")
.save("odsoutdatafldr", "com.databricks.spark.csv");