У меня есть DataFrame
с few columns
. Теперь я хочу добавить еще два столбца в существующий DataFrame.
В настоящее время я делаю это с помощью withColumn
метода в DataFrame.
например:
df.withColumn("newColumn1", udf(col("somecolumn")))
.withColumn("newColumn2", udf(col("somecolumn")))
На самом деле я могу вернуть оба новых значения COlumn в один метод UDF с помощью Array [String]. Но в данный момент это то, как я это делаю.
В любом случае, я могу сделать это эффективно? использование explode
- хороший вариант здесь?
Даже если я должен использовать explode
, я должен использовать withColumn
один раз, а затем возвращает значение столбца как Array[String]
, затем с помощью explode
, создать еще два столбца.
Какой из них эффективен? или есть альтернативы?