import numpy as np
df = spark.createDataFrame(
[(1, 1, None), (1, 2, float(5)), (1, 3, np.nan), (1, 4, None), (1, 5, float(10)), (1, 6, float('nan')), (1, 6, float('nan'))],
('session', "timestamp1", "id2"))
Ожидаемый результат
dataframe со счетом nan/null для каждого столбца
Примечание. Предыдущие вопросы, которые я нашел в переполнении стека, проверяют только на null & not nan. Вот почему я создал новый вопрос.
Я знаю, что могу использовать функцию isnull() в искры, чтобы найти число значений Null в столбце Spark, но как найти значения Nan в Spark dataframe?