Совокупность/суммирование нескольких переменных на группу (например, сумма, среднее значение)

Из фрейма данных есть ли простой способ агрегировать (sum, mean, max et c) несколько переменных одновременно?

Ниже приведены некоторые данные:

library(lubridate)
days = 365*2
date = seq(as.Date("2000-01-01"), length = days, by = "day")
year = year(date)
month = month(date)
x1 = cumsum(rnorm(days, 0.05)) 
x2 = cumsum(rnorm(days, 0.05))
df1 = data.frame(date, year, month, x1, x2)

Я хотел бы одновременно агрегировать переменные x1 и x2 из фрейма данных df2 к году и месяцу. Следующий код объединяет переменную x1, но также возможно одновременно агрегировать переменную x2?

### aggregate variables by year month
df2=aggregate(x1 ~ year+month, data=df1, sum, na.rm=TRUE)
head(df2)

Приветствуются любые предложения.

Ответ 1

Откуда эта функция year()?

Вы также можете использовать пакет reshape2 для этой задачи:

require(reshape2)
df_melt <- melt(df1, id = c("date", "year", "month"))
dcast(df_melt, year + month ~ variable, sum)
#  year month         x1           x2
1  2000     1  -80.83405 -224.9540159
2  2000     2 -223.76331 -288.2418017
3  2000     3 -188.83930 -481.5601913
4  2000     4 -197.47797 -473.7137420
5  2000     5 -259.07928 -372.4563522

Ответ 2

Да, в formula вы можете cbind числовые переменные, которые нужно агрегировать:

aggregate(cbind(x1, x2) ~ year + month, data = df1, sum, na.rm = TRUE)
   year month         x1          x2
1  2000     1   7.862002   -7.469298
2  2001     1 276.758209  474.384252
3  2000     2  13.122369 -128.122613
...
23 2000    12  63.436507  449.794454
24 2001    12 999.472226  922.726589

См. ?aggregate, аргумент formula и примеры.

Ответ 3

Использование пакета data.table, который быстро (полезен для больших наборов данных)

https://github.com/Rdatatable/data.table/wiki

library(data.table)
df2 <- setDT(df1)[, lapply(.SD, sum), by=.(year, month), .SDcols=c("x1","x2")]
setDF(df2) # convert back to dataframe

Использование пакета plyr

require(plyr)
df2 <- ddply(df1, c("year", "month"), function(x) colSums(x[c("x1", "x2")]))

Использование summary() из пакета Hmisc (заголовки столбцов в моем примере беспорядочны)

# need to detach plyr because plyr and Hmisc both have a summarize()
detach(package:plyr)
require(Hmisc)
df2 <- with(df1, summarize( cbind(x1, x2), by=llist(year, month), FUN=colSums))

Ответ 4

С пакетом dplyr вы можете использовать функции summarise_all, summarise_at или summarise_if для агрегирования нескольких переменных одновременно. Для примера набора данных вы можете сделать это следующим образом:

library(dplyr)
# summarising all non-grouping variables
df2 <- df1 %>% group_by(year, month) %>% summarise_all(sum)

# summarising a specific set of non-grouping variables
df2 <- df1 %>% group_by(year, month) %>% summarise_at(vars(x1, x2), sum)
df2 <- df1 %>% group_by(year, month) %>% summarise_at(vars(-date), sum)

# summarising a specific set of non-grouping variables using select_helpers
# see ?select_helpers for more options
df2 <- df1 %>% group_by(year, month) %>% summarise_at(vars(starts_with('x')), sum)
df2 <- df1 %>% group_by(year, month) %>% summarise_at(vars(matches('.*[0-9]')), sum)

# summarising a specific set of non-grouping variables based on condition (class)
df2 <- df1 %>% group_by(year, month) %>% summarise_if(is.numeric, sum)

Результат последних двух вариантов:

    year month        x1         x2
   <dbl> <dbl>     <dbl>      <dbl>
1   2000     1 -73.58134  -92.78595
2   2000     2 -57.81334 -152.36983
3   2000     3 122.68758  153.55243
4   2000     4 450.24980  285.56374
5   2000     5 678.37867  384.42888
6   2000     6 792.68696  530.28694
7   2000     7 908.58795  452.31222
8   2000     8 710.69928  719.35225
9   2000     9 725.06079  914.93687
10  2000    10 770.60304  863.39337
# ... with 14 more rows

Примечание: summarise_each не рекомендуется в пользу summarise_all, summarise_at и summarise_if.

Как уже упоминалось в моем комментарии выше, вы можете также использовать recast функцию из reshape2 -package:

library(reshape2)
recast(df1, year + month ~ variable, sum, id.var = c("date", "year", "month"))

который даст вам тот же результат.

Ответ 5

Интересно, что базовый метод R aggregate data.frame здесь не показан, выше используется интерфейс формулы, поэтому для полноты data.frame:

aggregate(
  x = df1[c("x1", "x2")],
  by = df1[c("year", "month")],
  FUN = sum, na.rm = TRUE
)

Более общее использование статистического метода data.frame:

Так как мы предоставляем

data.frame как x и
list (data.frame также list), как by это очень полезно, если мы должны использовать его в динамической форме, например, с помощью других столбцов должны быть объединены и агрегировать по очень простой
также с индивидуальными функциями агрегации

Например вот так:

colsToAggregate <- c("x1")
aggregateBy <- c("year", "month")
dummyaggfun <- function(v, na.rm = TRUE) {
  c(sum = sum(v, na.rm = na.rm), mean = mean(v, na.rm = na.rm))
}

aggregate(df1[colsToAggregate], by = df1[aggregateBy], FUN = dummyaggfun)

Ответ 6

Опоздал на вечеринку, но недавно нашел другой способ получить сводную статистику.

library(psych) describe(data)

Будет выводить: среднее, минимальное, максимальное, стандартное отклонение, n, стандартная ошибка, эксцесс, асимметрия, медиана и диапазон для каждой переменной.