Pandas 组操作简介

Pandas 的组操作（Group By）是数据处理中的核心功能之一，它允许我们对数据进行分组并对每个组进行操作，从而实现复杂的数据分析和处理任务。

分组操作的基础

在 Pandas 中，分组操作通常通过 groupby 方法实现。这个方法可以根据一个或多个列对数据进行分组。

单一列分组

当我们只想根据一列进行分组时，可以直接传递该列作为参数给 groupby 方法。

import pandas as pd

# 创建一个示例 DataFrame
data = {
    'Category': ['A', 'A', 'B', 'B', 'C', 'C'],
    'Value': [10, 20, 30, 40, 30, 20]
}

df = pd.DataFrame(data)

# 根据 'Category' 列进行分组
grouped = df.groupby('Category')

# 查看分组后的结果
print(grouped)

多列分组

如果我们想根据多个列进行分组，可以将这些列作为列表传递给 groupby 方法。

# 根据 'Category' 和 'Year' 列进行分组
grouped_multi = df.groupby(['Category', 'Value'])

# 查看分组后的结果
print(grouped_multi)

分组后的操作

分组操作完成后，我们可以对每个组进行各种操作，如聚合、转换和排序等。

聚合函数

聚合函数可以对数据进行汇总计算，如求和、平均值、最大值和最小值等。

# 计算每个类别的总和
total_per_category = grouped['Value'].sum()

# 计算每个类别的平均值
mean_per_category = grouped['Value'].mean()

# 查看结果
print(total_per_category)
print(mean_per_category)

转换函数

转换函数可以对数据进行转换操作，如计数、排序等。

# 计算每个类别的记录数量
count_per_category = grouped['Value'].count()

# 查看结果
print(count_per_category)

过滤和排序

我们还可以对分组后的数据进行过滤和排序操作。

# 过滤出 'Category' 为 'A' 的数据
filtered_category_a = grouped['Value'][grouped['Category'] == 'A']

# 对 'Category' 为 'A' 的数据进行降序排序
sorted_category_a = filtered_category_a.sort_values(ascending=False)

# 查看结果
print(sorted_category_a)

拆分、应用和组合（Split-Apply-Combine）

Split-Apply-Combine 是 Pandas 的一种强大的数据处理范式，它可以帮助我们更有效地进行数据分析。

拆分（Split）

拆分操作是指将数据集按照某些键分成多个子集。在 Pandas 中，这通常通过 groupby 方法实现。

# 根据 'Category' 列进行分组
grouped = df.groupby('Category')

# 拆分数据集
grouped_list = list(grouped)

# 查看拆分后的分组
for category, group in grouped_list:
    print(category)
    print(group)

A
  Category  Value
0        A     10
1        A     20
B
  Category  Value
2        B     30
3        B     40
C
  Category  Value
4        C     30
5        C     20

应用（Apply）

应用操作是指对每个分组应用一个函数，并收集结果。在 Pandas 中，这通常通过 apply 方法实现。

# 对每个分组应用自定义函数
def custom_function(group):
    return group['Value'].sum()

# 应用自定义函数
result = grouped.apply(custom_function)

# 查看结果
print(result)

Category
A    30
B    70
C    50
dtype: int64

组合（Combine）

组合操作是指将多个子集数据合并成一个整体。在 Pandas 中，这通常通过 concat 方法实现。

# 假设我们有多个分组的数据，并将它们存储在列表中
grouped_list = [grouped_1, grouped_2, grouped_3]

# 使用 concat 方法将它们合并
combined_df = pd.concat(grouped_list)

# 查看合并后的数据框
print(combined_df)

实践案例

在本节中，我们将通过一个实际案例来练习分组操作。我们将使用一个包含销售数据的 DataFrame，学习如何进行数据的分组和聚合分析，以了解不同产品类别的销售情况。

数据导入

首先，我们需要导入销售数据。

import pandas as pd

# 加载销售数据
df = pd.read_csv('sales_data.csv')

# 查看数据框的前几行
print(df.head())

  Product      Sales
0       A  83.612440
1       B  83.743698
2       C  88.536823
3       D  88.427858
4       E  81.554607

分组和聚合分析

接下来，我们将根据产品类别对销售数据进行分组，并计算每个类别的总销售额和平均销售额。

# 根据产品类别进行分组
grouped_by_product = df.groupby('Product')

# 计算总销售额
total_sales_by_product = grouped_by_product['Sales'].sum()

# 计算平均销售额
average_sales_by_product = grouped_by_product['Sales'].mean()

# 查看结果
print(total_sales_by_product)
print(average_sales_by_product)

  Product      Sales
0       A  83.612440
1       B  83.743698
2       C  88.536823
3       D  88.427858
4       E  81.554607
Product
A    522.415076
B    437.234533
C    446.066535
D    782.328957
E     81.554607
Name: Sales, dtype: float64
Product
A    87.069179
B    87.446907
C    89.213307
D    86.925440
E    81.554607
Name: Sales, dtype: float64

可视化分析

为了更直观地理解销售数据，我们可以使用 matplotlib 库来绘制图表。

import matplotlib.pyplot as plt

# 绘制总销售额的柱状图
plt.bar(total_sales_by_product.index, total_sales_by_product.values, color='blue')
plt.xlabel('Product')
plt.ylabel('Total Sales')
plt.title('Total Sales by Product Category')
plt.xticks(rotation=90)  # 旋转 x 轴刻度标签以提高可读性
plt.show()

# 绘制平均销售额的折线图
plt.plot(average_sales_by_product.index, average_sales_by_product.values, color='red')
plt.xlabel('Product')
plt.ylabel('Average Sales')
plt.title('Average Sales by Product Category')
plt.xticks(rotation=90)  # 旋转 x 轴刻度标签以提高可读性
plt.show()

总结

在本课程中，我们学习了 Pandas 的组操作功能，包括如何使用 groupby 方法对数据进行分组，如何使用聚合函数对数据进行汇总计算，以及如何使用拆分-应用-组合范式对数据进行复杂的分析。通过实践案例，我们学会了如何应用这些知识来解决实际问题，如分析销售数据。掌握这些技能将极大地提高我们在数据处理和分析方面的能力。