Таблица частот для одной переменной

Один из последних новичков pandas вопрос для дня: Как создать таблицу для одной серии?

Например:

my_series = pandas.Series([1,2,2,3,3,3])
pandas.magical_frequency_function( my_series )

>> {
     1 : 1,
     2 : 2, 
     3 : 3
   }

Множество поисковых запросов привело меня к Series.describe() и pandas.crosstabs, но ни одна из них не делает то, что мне нужно: одна переменная, подсчитывается по категориям. О, и было бы неплохо, если бы он работал для разных типов данных: строки, ints и т.д.

Ответ 1

Может быть .value_counts()?

>>> import pandas
>>> my_series = pandas.Series([1,2,2,3,3,3, "fred", 1.8, 1.8])
>>> my_series
0       1
1       2
2       2
3       3
4       3
5       3
6    fred
7     1.8
8     1.8
>>> counts = my_series.value_counts()
>>> counts
3       3
2       2
1.8     2
fred    1
1       1
>>> len(counts)
5
>>> sum(counts)
9
>>> counts["fred"]
1
>>> dict(counts)
{1.8: 2, 2: 2, 3: 3, 1: 1, 'fred': 1}

Ответ 2

Вы можете использовать понимание списков на фрейме данных для подсчета частот столбцов как таковых

[my_series[c].value_counts() for c in list(my_series.select_dtypes(include=['O']).columns)]

Структура:

my_series.select_dtypes(include=['O']) 

Выбирает только категориальные данные

list(my_series.select_dtypes(include=['O']).columns) 

Включает столбцы сверху в список

[my_series[c].value_counts() for c in list(my_series.select_dtypes(include=['O']).columns)] 

Перебирается по списку выше и применяет value_counts() к каждому столбцу

Ответ 3

Ответ, предоставленный @DSM, прост и понятен, но я думал, что добавлю свой собственный вклад в этот вопрос. Если вы посмотрите на код pandas.value_counts, вы увидите, что происходит много.

Если вам нужно рассчитать частоту многих серий, это может занять некоторое время. Более быстрая реализация заключалась бы в использовании numpy.unique с return_counts = True

Вот пример:

import pandas as pd
import numpy as np

my_series = pd.Series([1,2,2,3,3,3])

print(my_series.value_counts())
3    3
2    2
1    1
dtype: int64

Обратите внимание, что возвращенный элемент является pandas.Series

Для сравнения, numpy.unique возвращает кортеж с двумя элементами, уникальными значениями и подсчетами.

vals, counts = np.unique(my_series, return_counts=True)
print(vals, counts)
[1 2 3] [1 2 3]

Затем вы можете объединить их в словарь:

results = dict(zip(vals, counts))
print(results)
{1: 1, 2: 2, 3: 3}

И затем в pandas.Series

print(pd.Series(results))
1    1
2    2
3    3
dtype: int64