别再只用mean和sum了！Pandas agg()函数这5种高阶用法，让数据聚合效率翻倍

Pandas agg()函数：超越基础统计的5个高阶实战技巧

在数据分析的日常工作中，mean()和sum()可能是最常被调用的聚合函数。但如果你还在用df.groupby('category')['value'].mean()这样的基础操作，那么你只挖掘了Pandas聚合功能不到20%的潜力。本文将带你突破常规，探索agg()函数那些被大多数教程忽略的高阶用法，让你的数据处理效率提升至少3倍。

1. 多维度聚合：字典与元组的艺术

当我们需要对同一列计算多个统计量时，新手可能会写出重复代码：

df_grouped = df.groupby('department') result = pd.DataFrame({ 'salary_mean': df_grouped['salary'].mean(), 'salary_median': df_grouped['salary'].median(), 'salary_std': df_grouped['salary'].std() })

而agg()的字典传参可以一行搞定：

agg_dict = { 'salary': ['mean', 'median', 'std'], 'age': ['min', 'max', lambda x: x.max()-x.min()] } result = df.groupby('department').agg(agg_dict)

更优雅的是使用元组重命名输出列：

agg_tuples = { 'salary': [('avg', 'mean'), ('variation', lambda x: x.max()/x.min())], 'age': [('range', lambda x: x.max()-x.min())] } df.groupby('department').agg(**agg_tuples)

性能对比表

提示：当使用自定义lambda函数时，建议先定义好函数再引用，避免在agg()内直接写复杂逻辑影响可读性

2. 差异化聚合：列级精确控制

真实业务场景中，不同指标往往需要不同的聚合方式。例如销售数据中：

• 销售额需要求和
• 利润率需要平均值
• 客户评分需要去除极端值后的均值

传统做法需要多次分组计算：

sales_sum = df.groupby('region')['sales'].sum() profit_mean = df.groupby('region')['profit'].mean() rating_clean = df.groupby('region')['rating'].apply(lambda x: x[(x>x.quantile(0.05)) & (x<x.quantile(0.95))].mean())

而agg()的差异化处理只需：

def trimmed_mean(series): q05, q95 = series.quantile([0.05, 0.95]) return series[(series>q05) & (series<q95)].mean() agg_spec = { 'sales': 'sum', 'profit': 'mean', 'rating': trimmed_mean, 'customer_count': ['sum', 'mean'] } df.groupby('region').agg(agg_spec)

常见业务场景聚合策略

3. 分组后复合运算：超越简单聚合

agg()真正的威力在于处理分组后的复合运算。考虑电商分析场景，我们需要计算：

1. 各品类销售额占比
2. 价格区间内的销量分布
3. 周销售波动系数

def sales_share(group): return group / group.sum() def price_bucket_sales(df): bins = [0, 50, 100, 200, 500, float('inf')] return pd.cut(df['price'], bins=bins).value_counts() def weekly_volatility(group): return group.std() / group.mean() agg_advanced = { 'sales': [('total', 'sum'), ('share', sales_share)], 'price': [('bucket_dist', price_bucket_sales)], 'weekly_sales': [('volatility', weekly_volatility)] } result = df.groupby('category').agg(**agg_advanced)

这种复合运算可以直接产出业务需要的衍生指标，避免中间结果的多次处理。

4. 条件聚合：灵活应对复杂业务规则

当聚合需要基于某些条件时，agg()结合lambda或自定义函数展现出强大灵活性。例如：

案例1：只计算工作日的平均值

weekday_avg = df.groupby('store').agg({ 'sales': lambda x: x[df['is_weekday']].mean() })

案例2：计算不同客户分组的转化率

def conversion_rate(group): visitors = group[group['action'] == 'visit']['user_id'].nunique() purchasers = group[group['action'] == 'purchase']['user_id'].nunique() return purchasers / visitors df.groupby('campaign').agg(conversion_rate)

案例3：带权重的聚合计算

def weighted_avg(group): return np.average(group['value'], weights=group['weight']) df.groupby('category').agg(weighted_avg)

注意：条件聚合中的自定义函数应当保持轻量，复杂逻辑建议预处理数据或使用apply

5. 性能优化：agg vs apply vs transform

虽然apply更加灵活，但在聚合场景下agg通常有更好的性能：

# 测试三种方法的性能差异 import timeit setup = ''' import pandas as pd import numpy as np df = pd.DataFrame({ 'group': np.random.choice(list('ABCDEF'), 100000), 'value': np.random.randn(100000) }) ''' stmt_agg = "df.groupby('group').agg({'value': ['mean', 'std']})" stmt_apply = "df.groupby('group')['value'].apply(lambda x: pd.Series({'mean': x.mean(), 'std': x.std()}))" stmt_transform = "df.groupby('group')['value'].transform(['mean', 'std'])" print('agg:', timeit.timeit(stmt_agg, setup, number=100)) print('apply:', timeit.timeit(stmt_apply, setup, number=100)) print('transform:', timeit.timeit(stmt_transform, setup, number=100))

三方法对比指南

在实际项目中，我通常会先用agg处理标准聚合，遇到特殊需求再考虑apply。当需要将聚合结果广播回原DataFrame时（如计算分组z-score），transform则是无可替代的选择。