pandas提供了一个灵活高效的groupby功能,它使你能以一种自然的方式对数据集进行切片、切块、摘要等操作。根据一个或多个键(可以是函数、数组或Data 列名)拆分pandas对象。计算分组摘要统计,如计数、平均值、标准差,或用户自定义函数。对Data 的列应用各种各样的函数。应用组内转换或其他运算,如规格化、线性回归、排名或选取子集等。计算透视表或交叉表。执行分位数分析以及其他分组分析。
groupby分组函数:

  返回值:返回重构格式的Data ,特别注意,groupby里面的字段内的数据重构后都会变成索引

  groupby(),一般和sum()、mean()一起使用,如下例:

先自定义生成数组

import pandas as pd
df = pd.Data ({'key1':list('ababa'),
         'key2': ['one','two','one','two','one'],
         'data1': np.random.randn(5),
         'data2': np.random.randn(5)})
print(df)

   data1   data2 key1 key2
0 -1.313101 -0.453361  a one
1 0.791463 1.096693  b two
2 0.462611 1.150597  a one
3 -0.216121 1.381333  b two
4 0.077367 -0.282876  a one

应用groupby,分组键均为Series(譬如df[‘xx']),实际上分组键可以是任何长度适当的数组

#将df['data1']按照分组键为df['key1']进行分组
grouped=df['data1'].groupby(df['key1'])
print(grouped.mean())

key1
a  -0.257707
b  0.287671
Name: data1, dtype: float64

states=np.array(['Ohio','California','California','Ohio','Ohio'])
years=np.array([2005,2005,2006,2005,2006])
#states第一层索引,years第二层分层索引
print(df['data1'].groupby([states,years]).mean())
California 2005  0.791463
      2006  0.462611
Ohio    2005  -0.764611
      2006  0.077367
Name: data1, dtype: float64

#df根据‘key1'分组,然后对df剩余数值型的数据运算
df.groupby('key1').mean()
     data1   data2
key1          
a  -0.257707 0.138120
b   0.287671 1.239013
#可以看出没有key2列,因为df[‘key2']不是数值数据,所以被从结果中移除。默认情况下,所有数值列都会被聚合,虽然有时可能被过滤为一个子集。

对分组进行迭代

#name就是groupby中的key1的值,group就是要输出的内容
for name, group in df.groupby('key1'):
    print (name,group)

a    data1   data2 key1 key2
0 -1.313101 -0.453361  a one
2 0.462611 1.150597  a one
4 0.077367 -0.282876  a one
b    data1   data2 key1 key2
1 0.791463 1.096693  b two
3 -0.216121 1.381333  b two

对group by后的内容进行操作,可转换成字典

#转化为字典
piece=dict(list(df.groupby('key1')))

{'a':    data1   data2 key1 key2
 0 -1.313101 -0.453361  a one
 2 0.462611 1.150597  a one
 4 0.077367 -0.282876  a one, 'b':    data1   data2 key1 key2
 1 0.791463 1.096693  b two
 3 -0.216121 1.381333  b two}
#对字典取值
value = piece['a']

groupby默认是在axis=0上进行分组的,通过设置也可以在其他任何轴上进行分组

grouped=df.groupby(df.dtypes, axis=1)
value = dict(list(grouped))
print(value)

{dtype('float64'):    data1   data2
0 -1.313101 -0.453361
1 0.791463 1.096693
2 0.462611 1.150597
3 -0.216121 1.381333
4 0.077367 -0.282876, dtype('O'):  key1 key2
0  a one
1  b two
2  a one
3  b two
4  a one}

对于大数据,很多情况是只需要对部分列进行聚合

#对df进行'key1','key2'的两次分组,然后取data2的数据,对两次细分的分组数据取均值
value = df.groupby(['key1','key2'])[['data2']].mean()

       data2
key1 key2     
a  one  0.138120
b  two  1.239013
----------------------------------
df
Out[1]: 
   data1   data2 key1 key2
0 -1.313101 -0.453361  a one
1 0.791463 1.096693  b two
2 0.462611 1.150597  a one
3 -0.216121 1.381333  b two
4 0.077367 -0.282876  a one
----------------------------------

df['key2'].iloc[-1] ='two'

value = df.groupby(['key1','key2'])[['data2']].mean()

value
Out[2]: 
       data2
key1 key2     
a  one  0.348618
   two -0.282876
b  two  1.239013

总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。如果你想了解更多相关内容请查看下面相关链接

收藏 打印