Я использую Spark 1.3.0 и Python. У меня есть dataframe, и я хочу добавить дополнительный столбец, который получен из других столбцов. Как это,
>>old_df.columns
[col_1, col_2, ..., col_m]
>>new_df.columns
[col_1, col_2, ..., col_m, col_n]
где
col_n = col_3 - col_4
Как это сделать в PySpark?