在数据处理和分析中，Pandas是一个广泛使用的Python库，而DataFrame作为其核心数据结构，我们常常会遇到需要迭代其行的情况。本文将围绕Stack Overflow上一个高关注度的问题（浏览量达790万次），深入探讨如何在Pandas DataFrame中迭代行，同时分析不同方法的性能及适用场景。
一、问题提出
用户拥有一个Pandas DataFrame（df），希望迭代该数据框的行，并通过列名访问每行的元素。例如，期望实现类似for row in df.rows: print(row['c1'], row['c2'])的功能，同时对已有的df.T.iteritems()和df.iterrows()等方法中row对象的本质及使用方式存在疑问。
二、常见迭代方法
- 1. DataFrame.iterrows()：这是一个生成器，会同时返回索引和行（作为Series）。示例代码如下：
import pandas as pd
df = pd.DataFrame({'c1': [10, 11, 12], 'c2': [100, 110, 120]})
df = df.reset_index()
for index, row in df.iterrows():
print(row['c1'], row['c2'])但需注意，官方文档指出，迭代Pandas对象通常较慢，在许多情况下，手动逐行迭代并非必要。
- 2. DataFrame.itertuples()：该方法返回的是命名元组，一般比iterrows()更快。使用示例：
for row in df.itertuples(index=True, name='Pandas'):
print(row.c1, row.c2)不过，当列名存在无效Python标识符、重复或以下划线开头的情况时，列名会被重命名为位置名称；当列数较多（>255）时，会返回普通元组。
- 3. df.iloc函数：通过索引位置来访问行，示例代码：
for i in range(0, len(df)):
print(df.iloc[i]['c1'], df.iloc[i]['c2'])此方法在需要保留数据类型且通过列名引用列时是一种可行的选择。
- 4. df.apply()：可用于按行应用函数，实现对多个列的访问和操作。例如：
def valuation_formula(x, y):
return x * y * 0.5
df['price'] = df.apply(lambda row: valuation_formula(row['x'], row['y']), axis=1)这里axis=1表示按行应用函数。
三、性能对比与建议
- 1. 性能差异显著：众多用户通过测试发现，不同迭代方法的性能差异巨大。例如，itertuples()通常比iterrows()快很多，纯矢量化操作甚至可比最慢的方法（如iterrows()）快约1400倍。
- 2. 优先选择矢量化：在大多数情况下，应优先考虑矢量化操作，因为Pandas的许多基本操作和计算（如算术、比较、归约、重塑、连接和分组操作等）都已实现矢量化，可通过内置方法或NumPy函数、（布尔）索引等方式高效执行。
- 3. 列表推导式的优势：若不存在矢量化解决方案且性能要求较高，但又不值得为代码进行Cython化处理时，列表推导式是一个不错的选择。它简单易用，在许多常见的Pandas任务中速度足够快，有时甚至更快。例如：
# 迭代一列
result = [f(x) for x in df['col']]
# 迭代两列
result = [f(x, y) for x, y in zip(df['col1'], df['col2'])]- 4. apply()的适用场景：对于初学者来说，apply()函数相对容易理解和使用，在一些情况下（如某些GroupBy操作）是一个可行的替代方案，但一般来说其性能不如矢量化和列表推导式。
四、特殊情况与注意事项
- 1. 数据类型问题：使用iterrows()时，可能会出现数据类型在行间不匹配的情况，因为它返回的是每个行的Series，无法保留数据类型；而itertuples()返回的命名元组能更好地保留数据类型。
- 2. 避免修改正在迭代的内容：不应在迭代过程中修改数据，因为这在某些情况下可能无效，取决于数据类型，迭代器可能返回的是副本而非视图，写入操作将不起作用，此时应使用DataFrame.apply()等方法替代。
- 3. 处理特殊列名：当列名包含特殊字符（如空格或-）时，使用itertuples()可能会出现问题，可根据具体情况选择合适的处理方式。
五、总结
在Pandas DataFrame中迭代行有多种方法，每种方法都有其特点和适用场景。为了编写高效的代码，应尽量优先使用矢量化操作，当无法实现矢量化时，可考虑列表推导式。在必须进行迭代的情况下，itertuples()通常是比iterrows()更好的选择。同时，在处理数据时要注意数据类型、避免修改迭代中的数据以及处理特殊列名等问题。希望本文能帮助大家在使用Pandas进行数据处理时，更加合理地选择迭代方法，提升代码性能和效率。