「目录」

数据清洗和准备

• 7.1 => 处理缺失数据
• 7.2 => 数据转换

-------> 移除重复数据

• 7.3 => 字符串操作

继续整理，上一篇笔记记录的是pandas如何处理缺失的数据（NaN），这篇讲的是如何移除重复的数据。因为数据转换这一章节字好多，我觉得还是分成一小段一小段的比较好（好吧是我懒）。

移除重复数据

假设因为某种原因，我们碰到了重复的数据，比如下面的DataFrame中第5行和第6行就重复了：

In [1]: import pandas as pd

In [2]: data = pd.DataFrame({'k1':['one', 'two'] * 3 + ['two'], 'k2':[1, 1, 2, 3, 3, 4, 4]})

In [3]: data
Out[3]:
    k1  k2
0  one   1
1  two   1
2  one   2
3  two   3
4  one   3
5  two   4
6  two   4

DataFrame方法duplicated可以返回一个布尔序列指明每一行是否是重复出现的：

In [4]: data.duplicated()
Out[4]:
0    False
1    False
2    False
3    False
4    False
5    False
6     True
dtype: bool

而drop_duplicates会返回一个丢弃了所有重复出现的行的DataFrame：

In [5]: data.drop_duplicates()
Out[5]:
    k1  k2
0  one   1
1  two   1
2  one   2
3  two   3
4  one   3
5  two   4

上面两个方法默认考虑了所有列columns。我们也可以指明过滤掉某一行的重复的数据。

比如我们要滤掉k1列所有的重复值：

In [6]: data['v1'] = range(7)

In [7]: data.drop_duplicates(['k1'])
Out[7]:
    k1  k2  v1
0  one   1   0
1  two   1   1

另外，duplicated和drop_duplicates默认保留首次观察到的值。可以通过传入keep='last'来要求保留最后出现的值：

In [8]: data.drop_duplicates(['k1', 'k2'], keep='last')
Out[8]:
    k1  k2  v1
0  one   1   0
1  two   1   1
2  one   2   2
3  two   3   3
4  one   3   4
6  two   4   6

嗯，这篇结束了，就讲了两个移除重复数据的方法。

Bye-Bye下一篇见吧