Python进阶-Day 25: 数据分析基础

目标：掌握 Pandas 和 NumPy 的基本操作，学习如何分析 CSV 数据集并生成报告。

课程内容

1. NumPy 基础 NumPy 是一个用于数值计算的库，擅长处理多维数组和矩阵运算。 核心功能：数组创建、索引、切片、数学运算、统计计算。
2. Pandas 基础 Pandas 是一个强大的数据分析库，基于 DataFrame 和 Series 数据结构。 核心功能：数据读取、清洗、筛选、聚合、可视化。
3. 练习目标 读取一个 CSV 数据集（例如销售数据）。 进行数据清洗、统计分析和可视化。 生成一份简单的分析报告。

学习计划

1. NumPy 基础操作（30 分钟）

• 安装 NumPy（如果未安装）：bash
• pip install numpy
• 基本操作：python

import numpy as np

# 创建数组
arr = np.array([1, 2, 3, 4, 5])
print("数组:", arr)

# 多维数组
matrix = np.array([[1, 2, 3], [4, 5, 6]])
print("矩阵:\n", matrix)

# 基本运算
print("数组加 2:", arr + 2)
print("数组均值:", np.mean(arr))
print("矩阵形状:", matrix.shape)

# 索引与切片
print("第一个元素:", arr[0])
print("前三个元素:", arr[:3])

• 任务：
• 创建一个 3x3 的二维数组，计算每行的均值。
• 生成一个 1 到 100 的等差数列（步长为 5）。

2. Pandas 基础操作（45 分钟）

• 安装 Pandas 和 Matplotlib（用于可视化）：bash
• pip install pandas matplotlib
• 基本操作：python

import pandas as pd

# 读取 CSV 文件（假设有一个 sales_data.csv）
df = pd.read_csv('sales_data.csv')
print("数据集前五行:\n", df.head())

# 查看数据概要
print("数据概要:\n", df.info())
print("描述性统计:\n", df.describe())

# 筛选数据
high_sales = df[df['sales'] > 1000]
print("销售额大于 1000 的记录:\n", high_sales)

# 分组统计
sales_by_region = df.groupby('region')['sales'].sum()
print("各地区总销售额:\n", sales_by_region)

# 数据可视化
import matplotlib.pyplot as plt
sales_by_region.plot(kind='bar')
plt.title('Sales by Region')
plt.xlabel('Region')
plt.ylabel('Total Sales')
plt.show()

• 任务：
• 读取一个 CSV 文件，查看缺失值并进行处理（例如填充均值或删除）。
• 计算某列的最大值、最小值和平均值。
• 按某列分组，计算分组后的统计信息。

3. 练习：分析一个 CSV 数据集并生成报告（45 分钟）

• 数据集：假设有一个 sales_data.csv，包含以下字段：（如果没有数据集，可从 Kaggle 下载类似数据集，或手动创建简单 CSV 文件。）
• date：销售日期
• region：销售区域
• product：产品名称
• sales：销售额
• quantity：销售数量
• 练习步骤：
• 读取数据： 使用 pd.read_csv() 加载数据集。 检查数据是否有缺失值，使用 df.isnull().sum()。
• 数据清洗： 如果有缺失值，填充均值或删除缺失行。 检查数据类型，确保 sales 和 quantity 是数值型。
• 数据分析： 计算每个区域的总销售额和平均销售额。 找出销售额最高的产品。 按日期统计销售趋势（如果有日期列）。
• 可视化： 绘制柱状图展示各区域销售额。 绘制折线图展示销售趋势（如果有日期列）。
• 生成报告：
• 创建一个文本文件或 Markdown 文件，总结分析结果。
• 示例报告结构：
• # 数据分析报告 ## 数据集概况 - 记录数：XXX - 缺失值处理：已填充均值/删除缺失行 ## 分析结果 - 总销售额：XXX - 最高销售额产品：XXX - 各区域销售额： - 区域A：XXX - 区域B：XXX ## 可视化 （插入图表或描述图表内容）
• 示例代码：python

import pandas as pd
import matplotlib.pyplot as plt

# 读取数据
df = pd.read_csv('sales_data.csv')

# 数据清洗
df = df.dropna()  # 删除缺失值
df['sales'] = df['sales'].astype(float)

# 分析
total_sales = df['sales'].sum()
max_product = df.groupby('product')['sales'].sum().idxmax()
region_sales = df.groupby('region')['sales'].sum()

# 可视化
region_sales.plot(kind='bar')
plt.title('Sales by Region')
plt.xlabel('Region')
plt.ylabel('Total Sales')
plt.savefig('region_sales.png')
plt.show()

# 生成报告
with open('sales_report.md', 'w') as f:
    f.write('# Sales Analysis Report\n')
    f.write(f'## Total Sales: {total_sales}\n')
    f.write(f'## Top Product: {max_product}\n')
    f.write('## Sales by Region:\n')
    for region, sales in region_sales.items():
        f.write(f'- {region}: {sales}\n')
    f.write('## Visualization\n![Sales by Region](region_sales.png)')

作业

1. 完成练习中的数据分析任务，提交生成的报告文件。
2. 尝试使用 NumPy 计算数据集的销售额标准差。
3. 扩展可视化：为每个产品绘制饼图，展示其销售额占比。

学习资源

• NumPy 文档：https://numpy.org/doc/stable/
• Pandas 文档：https://pandas.pydata.org/docs/
• Matplotlib 教程：https://matplotlib.org/stable/tutorials/
• Kaggle 数据集：https://www.kaggle.com/datasets

通过本课程，你将掌握数据分析的基本流程，并能使用 Python 工具生成专业的分析报告。继续练习，尝试更复杂的数据集！