Получить статистику для каждой группы (например, количество, среднее значение и т. Д.) С помощью pandas GroupBy?

611

У меня есть фрейм данных, dfи я использую несколько столбцов из него, чтобы groupby:

df['col1','col2','col3','col4'].groupby(['col1','col2']).mean()

Таким образом я почти получаю нужную мне таблицу (фрейм данных). Отсутствует дополнительный столбец, содержащий количество строк в каждой группе. Другими словами, я имел в виду, но я также хотел бы знать, сколько чисел было использовано для получения этих средств. Например, в первой группе 8 значений, во второй 10 и так далее.

Вкратце: как получить групповую статистику для фрейма данных?

0
580

На groupbyобъекте aggфункция может принимать список для одновременного применения нескольких методов агрегирования . Это должно дать вам нужный результат:

df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).agg(['mean', 'count'])
6
  • 4
    Я думаю, вам нужна ссылка на столбец в виде списка. Вы, возможно, имеете в виду: df[['col1','col2','col3','col4']].groupby(['col1','col2']).agg(['mean', 'count'])rysqui 17 дек.
  • 61
    Это создает четыре столбца счетчика, но как получить только один? (В вопросе предлагается «дополнительная колонка», и я бы тоже этого хотел.)Jaan 22 июля '15 в 06:58
  • 22
    Пожалуйста, посмотрите мой ответ, если вы хотите получить только один countстолбец на группу. Pedro M Duarte 26 сен.
  • Что делать, если у меня есть отдельный счетчик, и вместо подсчета строк сгруппированного типа мне нужно добавить счетчики по столбцу. Abhishek Bhatia 02 окт.
  • 1
    @Jaan result = df['col1','col2','col3','col4'].groupby(['col1', 'col2']).mean() ; counts = times.groupby(['col1', 'col2']).size() ; result['count'] = countsalvitawa 24 июня '19 в 16: 042019-06-24 16:04
1187

Быстрый ответ:

Самый простой способ получить количество строк для каждой группы - вызвать .size(), который возвращает Series:

df.groupby(['col1','col2']).size()


Обычно вы хотите получить этот результат как DataFrame(вместо Series), чтобы вы могли:

df.groupby(['col1', 'col2']).size().reset_index(name='counts')


Если вы хотите узнать, как рассчитать количество строк и другую статистику для каждой группы, продолжайте читать ниже.


Подробный пример:

Рассмотрим следующий пример фрейма данных:

In [2]: df
Out[2]: 
  col1 col2  col3  col4  col5  col6
0    A    B  0.20 -0.61 -0.49  1.49
1    A    B -1.53 -1.01 -0.39  1.82
2    A    B -0.44  0.27  0.72  0.11
3    A    B  0.28 -1.32  0.38  0.18
4    C    D  0.12  0.59  0.81  0.66
5    C    D -0.13 -1.65 -1.64  0.50
6    C    D -1.42 -0.11 -0.18 -0.44
7    E    F -0.00  1.42 -0.26  1.17
8    E    F  0.91 -0.47  1.35 -0.34
9    G    H  1.48 -0.63 -1.14  0.17

Сначала воспользуемся, .size()чтобы получить количество строк:

In [3]: df.groupby(['col1', 'col2']).size()
Out[3]: 
col1  col2
A     B       4
C     D       3
E     F       2
G     H       1
dtype: int64

Затем воспользуемся .size().reset_index(name='counts')для получения количества строк:

In [4]: df.groupby(['col1', 'col2']).size().reset_index(name='counts')
Out[4]: 
  col1 col2  counts
0    A    B       4
1    C    D       3
2    E    F       2
3    G    H       1


Включая результаты для получения дополнительной статистики

Когда вы хотите рассчитать статистику по сгруппированным данным, это обычно выглядит так:

In [5]: (df
   ...: .groupby(['col1', 'col2'])
   ...: .agg({
   ...:     'col3': ['mean', 'count'], 
   ...:     'col4': ['median', 'min', 'count']
   ...: }))
Out[5]: 
            col4                  col3      
          median   min count      mean count
col1 col2                                   
A    B    -0.810 -1.32     4 -0.372500     4
C    D    -0.110 -1.65     3 -0.476667     3
E    F     0.475 -0.47     2  0.455000     2
G    H    -0.630 -0.63     1  1.480000     1

Приведенный выше результат немного раздражает из-за вложенных меток столбцов, а также из-за того, что количество строк рассчитывается для каждого столбца.

Чтобы получить больший контроль над выводом, я обычно разбиваю статистику на отдельные агрегаты, которые затем объединяю join. Это выглядит так:

In [6]: gb = df.groupby(['col1', 'col2'])
   ...: counts = gb.size().to_frame(name='counts')
   ...: (counts
   ...:  .join(gb.agg({'col3': 'mean'}).rename(columns={'col3': 'col3_mean'}))
   ...:  .join(gb.agg({'col4': 'median'}).rename(columns={'col4': 'col4_median'}))
   ...:  .join(gb.agg({'col4': 'min'}).rename(columns={'col4': 'col4_min'}))
   ...:  .reset_index()
   ...: )
   ...: 
Out[6]: 
  col1 col2  counts  col3_mean  col4_median  col4_min
0    A    B       4  -0.372500       -0.810     -1.32
1    C    D       3  -0.476667       -0.110     -1.65
2    E    F       2   0.455000        0.475     -0.47
3    G    H       1   1.480000       -0.630     -0.63



Сноски

Код, использованный для генерации тестовых данных, показан ниже:

In [1]: import numpy as np
   ...: import pandas as pd 
   ...: 
   ...: keys = np.array([
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['A', 'B'],
   ...:         ['C', 'D'],
   ...:         ['C', 'D'],
   ...:         ['C', 'D'],
   ...:         ['E', 'F'],
   ...:         ['E', 'F'],
   ...:         ['G', 'H'] 
   ...:         ])
   ...: 
   ...: df = pd.DataFrame(
   ...:     np.hstack([keys,np.random.randn(10,4).round(2)]), 
   ...:     columns = ['col1', 'col2', 'col3', 'col4', 'col5', 'col6']
   ...: )
   ...: 
   ...: df[['col3', 'col4', 'col5', 'col6']] = \
   ...:     df[['col3', 'col4', 'col5', 'col6']].astype(float)
   ...: 


Заявление об ограничении ответственности:

Если некоторые из столбцов, которые вы собираете, имеют нулевые значения, тогда вам действительно нужно рассматривать счетчики строк группы как независимую агрегацию для каждого столбца. В противном случае вы можете быть введены в заблуждение относительно того, сколько записей фактически используется для вычисления таких вещей, как среднее значение, потому что панды будут отбрасывать NaNзаписи в вычислении среднего, не сообщая вам об этом.

7
  • 1
    Эй, мне очень нравится ваше решение, особенно последнее, в котором вы используете цепочку методов. Однако, поскольку часто необходимо применять разные функции агрегирования к разным столбцам, можно также объединить итоговые кадры данных с помощью pd.concat. Возможно, это легче читать, чем объединение подчиненных цепочекQuickbeam2k1 17 авг.
  • 5
    хорошее решение, но In [5]: counts_df = pd.DataFrame(df.groupby('col1').size().rename('counts')), может быть, лучше установить size () в качестве нового столбца, если вы хотите манипулировать фреймом данных для дальнейшего анализа, что должно бытьcounts_df = pd.DataFrame(df.groupby('col1').size().reset_index(name='counts')LancelotHolmes 28 фев '17 в 2:35
  • 2
    Спасибо за бит "Включение результатов для получения дополнительной статистики"! Поскольку мой следующий поиск был посвящен сглаживанию результирующего мультииндекса по столбцам, я дам ссылку на ответ здесь: stackoverflow.com/a/50558529/1026Nickolay 28 мая '18 в 8: 172018-05-28 11:17
  • Большой! Не могли бы вы подсказать, как добавить isnullк этому запросу, чтобы он тоже был в одном столбце? 'col4': ['median', 'min', 'count', 'isnull']Peter.k 18 янв.
  • Как транслировать счет? (Не могу заставить transformработать при использованииgroupby(...).sizeMichele Piccolini 24 ноя '20 в 17:10
88

Швейцарский армейский нож: GroupBy.describe

Возвращает count, mean, std, и другие полезные статистические данные за группой.

df.groupby(['A', 'B'])['C'].describe()

           count  mean   std   min   25%   50%   75%   max
A   B                                                     
bar one      1.0  0.40   NaN  0.40  0.40  0.40  0.40  0.40
    three    1.0  2.24   NaN  2.24  2.24  2.24  2.24  2.24
    two      1.0 -0.98   NaN -0.98 -0.98 -0.98 -0.98 -0.98
foo one      2.0  1.36  0.58  0.95  1.15  1.36  1.56  1.76
    three    1.0 -0.15   NaN -0.15 -0.15 -0.15 -0.15 -0.15
    two      2.0  1.42  0.63  0.98  1.20  1.42  1.65  1.87

Чтобы получить конкретную статистику, просто выберите их,

df.groupby(['A', 'B'])['C'].describe()[['count', 'mean']]

           count      mean
A   B                     
bar one      1.0  0.400157
    three    1.0  2.240893
    two      1.0 -0.977278
foo one      2.0  1.357070
    three    1.0 -0.151357
    two      2.0  1.423148

describeработает для нескольких столбцов (измените значение ['C']на ['C', 'D']- или удалите его полностью - и посмотрите, что произойдет, в результате получится столбчатый фрейм данных с несколькими индексами).

Вы также получаете различную статистику для строковых данных. Вот пример,

df2 = df.assign(D=list('aaabbccc')).sample(n=100, replace=True)

with pd.option_context('precision', 2):
    display(df2.groupby(['A', 'B'])
               .describe(include='all')
               .dropna(how='all', axis=1))

              C                                                   D                
          count  mean       std   min   25%   50%   75%   max count unique top freq
A   B                                                                              
bar one    14.0  0.40  5.76e-17  0.40  0.40  0.40  0.40  0.40    14      1   a   14
    three  14.0  2.24  4.61e-16  2.24  2.24  2.24  2.24  2.24    14      1   b   14
    two     9.0 -0.98  0.00e+00 -0.98 -0.98 -0.98 -0.98 -0.98     9      1   c    9
foo one    22.0  1.43  4.10e-01  0.95  0.95  1.76  1.76  1.76    22      2   a   13
    three  15.0 -0.15  0.00e+00 -0.15 -0.15 -0.15 -0.15 -0.15    15      1   c   15
    two    26.0  1.49  4.48e-01  0.98  0.98  1.87  1.87  1.87    26      2   b   15

Для получения дополнительной информации см. Документацию .


панды> = 1.1: DataFrame.value_counts

Это доступно в pandas 1.1, если вы просто хотите зафиксировать размер каждой группы, это сокращает GroupByи работает быстрее.

df.value_counts(subset=['col1', 'col2'])

Минимальный пример

# Setup
np.random.seed(0)
df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar',
                          'foo', 'bar', 'foo', 'foo'],
                   'B' : ['one', 'one', 'two', 'three',
                          'two', 'two', 'one', 'three'],
                   'C' : np.random.randn(8),
                   'D' : np.random.randn(8)})

df.value_counts(['A', 'B']) 

A    B    
foo  two      2
     one      2
     three    1
bar  two      1
     three    1
     one      1
dtype: int64

Другие инструменты статистического анализа

Если вы не нашли то, что искали выше, в Руководстве пользователя есть полный список поддерживаемых инструментов статического анализа, корреляции и регрессии.

3
  • Не все дистрибутивы нормальные. IQR был бы потрясающим. Brad 27 апр '20 в 18:34
  • 2
    Таким образом .describe()[['count', 'mean']]вы вычисляете статистику, которую потом отбрасываете. Использование .agg(['count', 'mean']- лучший вариант, примерно в 7 раз быстрее, поскольку вы вычисляете только те, которые действительно нужныHugolmn 21 июн.
  • 1
    Спасибо KD! Я обычно выбираю ['col_name'].describe()или .value_counts(). Но на этот раз захотелось.size()Sumanth Lazarus 21 сен '20 в 12:23
11

Чтобы получить несколько статистических данных, сверните индекс и сохраните имена столбцов:

df = df.groupby(['col1','col2']).agg(['mean', 'count'])
df.columns = [ ' '.join(str(i) for i in col) for col in df.columns]
df.reset_index(inplace=True)
df

Производит:

** введите описание изображения здесь **

9

Мы можем легко сделать это, используя groupby и count. Но мы не должны забывать использовать reset_index ().

df[['col1','col2','col3','col4']].groupby(['col1','col2']).count().\
reset_index()
1
  • 4
    Это решение работает до тех пор, пока в столбцах нет нулевого значения, иначе оно может вводить в заблуждение (количество будет меньше фактического количества наблюдений по группе). Adrien Pacifico 09 июля '18 в 0:59
3

Пожалуйста, попробуйте этот код

new_column=df[['col1', 'col2', 'col3', 'col4']].groupby(['col1', 'col2']).count()
df['count_it']=new_column
df

Я думаю, что этот код добавит столбец под названием «подсчитать», в котором подсчитывается каждая группа.

2

Создайте объект группы и вызовите методы, как в примере ниже:

grp = df.groupby(['col1',  'col2',  'col3']) 

grp.max() 
grp.mean() 
grp.describe() 
1

Если вы знакомы с пакетами tidyverse R, вот способ сделать это на Python:

from datar.all import tibble, rnorm, f, group_by, summarise, mean, n, rep

df = tibble(
  col1=rep(['A', 'B'], 5), 
  col2=rep(['C', 'D'], each=5), 
  col3=rnorm(10), 
  col4=rnorm(10)
)
df >> group_by(f.col1, f.col2) >> summarise(
  count=n(),
  col3_mean=mean(f.col3), 
  col4_mean=mean(f.col4)
)
  col1 col2  n  mean_col3  mean_col4
0    A    C  3  -0.516402   0.468454
1    A    D  2  -0.248848   0.979655
2    B    C  2   0.545518  -0.966536
3    B    D  3  -0.349836  -0.915293
[Groups: ['col1'] (n=2)]

Я автор пакета датара . Пожалуйста, не стесняйтесь задавать вопросы, если у вас есть какие-либо вопросы по его использованию.