Есть ли встроенный способ фильтрации по столбцу с помощью IQR (то есть значения между Q1-1.5IQR и Q3 + 1.5IQR)? также будет предложена любая другая возможная обобщенная фильтрация в pandas.
Как использовать фильтр pandas с IQR?
Ответ 1
Насколько я знаю, наиболее компактные обозначения, похоже, получены методом query
.
# Some test data
np.random.seed(33454)
df = (
# A standard distribution
pd.DataFrame({'nb': np.random.randint(0, 100, 20)})
# Adding some outliers
.append(pd.DataFrame({'nb': np.random.randint(100, 200, 2)}))
# Reseting the index
.reset_index(drop=True)
)
# Computing IQR
Q1 = df['nb'].quantile(0.25)
Q3 = df['nb'].quantile(0.75)
IQR = Q3 - Q1
# Filtering Values between Q1-1.5IQR and Q3+1.5IQR
filtered = df.query('(@Q1 - 1.5 * @IQR) <= nb <= (@Q3 + 1.5 * @IQR)')
Затем мы можем построить результат, чтобы проверить разницу. Мы видим, что выброс в левом блокпосте (крест на 183) больше не появляется в отфильтрованной серии.
# Ploting the result to check the difference
df.join(filtered, rsuffix='_filtered').boxplot()
После этого ответа я написал сообщение на эту тему, где вы можете найти больше информации.
Ответ 2
Другой подход с использованием Series.between():
iqr = df['col'][df['col'].between(df['col'].quantile(.25), df['col'].quantile(.75), inclusive=True)]
Вытащено:
q1 = df['col'].quantile(.25)
q3 = df['col'].quantile(.75)
mask = d['col'].between(q1, q2, inclusive=True)
iqr = d.loc[mask, 'col']
Ответ 3
Это даст вам подмножество df
, которое находится в IQR столбца column
:
def subset_by_iqr(df, column, whisker_width=1.5):
"""Remove outliers from a dataframe by column, including optional
whiskers, removing rows for which the column value are
less than Q1-1.5IQR or greater than Q3+1.5IQR.
Args:
df (':obj:pd.DataFrame'): A pandas dataframe to subset
column (str): Name of the column to calculate the subset from.
whisker_width (float): Optional, loosen the IQR filter by a
factor of 'whisker_width' * IQR.
Returns:
(':obj:pd.DataFrame'): Filtered dataframe
"""
# Calculate Q1, Q2 and IQR
q1 = df[column].quantile(0.25)
q3 = df[column].quantile(0.75)
iqr = q3 - q1
# Apply filter with respect to IQR, including optional whiskers
filter = (df[column] >= q1 - whisker_width*iqr) & (df[column] <= q3 + whisker_width*iqr)
return df.loc[filter]
# Example for whiskers = 1.5, as requested by the OP
df_filtered = subset_by_iqr(df, 'column_name', whisker_width=1.5)
Ответ 4
Вы также можете попробовать использовать приведенный ниже код, рассчитав IQR. На основании IQR, нижней и верхней границ, он заменит значение выбросов, представленных в каждом столбце. этот код будет проходить через все столбцы в фрейме данных и работать по одному, отфильтровывая только выбросы, вместо того, чтобы проходить все значения в строках для поиска выбросов.
Функция:
def mod_outlier(df):
df1 = df.copy()
df = df._get_numeric_data()
q1 = df.quantile(0.25)
q3 = df.quantile(0.75)
iqr = q3 - q1
lower_bound = q1 -(1.5 * iqr)
upper_bound = q3 +(1.5 * iqr)
for col in col_vals:
for i in range(0,len(df[col])):
if df[col][i] < lower_bound[col]:
df[col][i] = lower_bound[col]
if df[col][i] > upper_bound[col]:
df[col][i] = upper_bound[col]
for col in col_vals:
df1[col] = df[col]
return(df1)
Вызов функции:
df = mod_outlier(df)
Ответ 5
Другой подход использует Series.clip:
q = s.quantile([.25, .75])
s = s[~s.clip(*q).isin(q)]
вот подробности:
s = pd.Series(np.randon.randn(100))
q = s.quantile([.25, .75]) # calculate lower and upper bounds
s = s.clip(*q) # assigns values outside boundary to boundary values
s = s[~s.isin(q)] # take only observations within bounds
Использовать его для фильтрации всего фрейма данных df
просто:
def iqr(df, colname, bounds = [.25, .75]):
s = df[colname]
q = s.quantile(bounds)
return df[~s.clip(*q).isin(q)]
Примечание: метод исключает сами границы.