Удалите столбец из искры данных

У меня есть Spark DataFrame с очень большим количеством столбцов. Я хочу удалить из него два столбца, чтобы получить новый фрейм данных.

Если бы столбцов было меньше, я мог бы использовать метод select в API следующим образом:

pcomments = pcomments.select(pcomments.col("post_id"),pcomments.col("comment_id"),pcomments.col("comment_message"),pcomments.col("user_name"),pcomments.col("comment_createdtime"));

Но так как выбор столбцов из длинного списка является утомительной задачей, есть ли обходной путь?

Ответ 1

Используйте метод drop и с помощью методовColumnRenamed.

Пример:

    val initialDf= ....

    val dfAfterDrop=initialDf.drop("column1").drop("coumn2")

    val dfAfterColRename= dfAfterDrop.withColumnRenamed("oldColumnName","new ColumnName")