删除具有重复索引的熊猫行
- 2024-12-25 08:51:00
- admin 原创
- 137
问题描述：
如何删除具有重复索引值的行？
在下面的天气 DataFrame 中，有时科学家会回过头来纠正观察结果——不是通过编辑错误的行，而是通过将重复的行附加到文件末尾。
我正在从网络上读取一些自动天气数据（每 5 分钟进行一次观察，并编译成每个气象站的月度文件。）解析文件后，DataFrame 如下所示：
Sta Precip1hr Precip5min Temp DewPnt WindSpd WindDir AtmPress
Date
2001-01-01 00:00:00 KPDX 0 0 4 3 0 0 30.31
2001-01-01 00:05:00 KPDX 0 0 4 3 0 0 30.30
2001-01-01 00:10:00 KPDX 0 0 4 3 4 80 30.30
2001-01-01 00:15:00 KPDX 0 0 3 2 5 90 30.30
2001-01-01 00:20:00 KPDX 0 0 3 2 10 110 30.28
重复案例的示例：
import pandas as pd
import datetime
startdate = datetime.datetime(2001, 1, 1, 0, 0)
enddate = datetime.datetime(2001, 1, 1, 5, 0)
index = pd.date_range(start=startdate, end=enddate, freq='H')
data1 = {'A' : range(6), 'B' : range(6)}
data2 = {'A' : [20, -30, 40], 'B' : [-50, 60, -70]}
df1 = pd.DataFrame(data=data1, index=index)
df2 = pd.DataFrame(data=data2, index=index[:3])
df3 = df2.append(df1)
df3
A B
2001-01-01 00:00:00 20 -50
2001-01-01 01:00:00 -30 60
2001-01-01 02:00:00 40 -70
2001-01-01 03:00:00 3 3
2001-01-01 04:00:00 4 4
2001-01-01 05:00:00 5 5
2001-01-01 00:00:00 0 0
2001-01-01 01:00:00 1 1
2001-01-01 02:00:00 2 2
所以我df3最终需要成为：
A B
2001-01-01 00:00:00 0 0
2001-01-01 01:00:00 1 1
2001-01-01 02:00:00 2 2
2001-01-01 03:00:00 3 3
2001-01-01 04:00:00 4 4
2001-01-01 05:00:00 5 5
我认为添加一列行号（df3['rownum'] = range(df3.shape[0])）可以帮助我为任何值选择最底下的行DatetimeIndex，但我无法弄清楚group_by或pivot（或???）语句来使其工作。
解决方案 1：
我建议在 Pandas Index 本身上使用重复方法：
df3 = df3[~df3.index.duplicated(keep='first')]
虽然所有其他方法都可以使用，.drop_duplicates但对于提供的示例来说，它是迄今为止性能最低的。此外，虽然groupby 方法的性能略差，但我发现 duplicated 方法更具可读性。
使用提供的示例数据：
>>> %timeit df3.reset_index().drop_duplicates(subset='index', keep='first').set_index('index')
1000 loops, best of 3: 1.54 ms per loop
>>> %timeit df3.groupby(df3.index).first()
1000 loops, best of 3: 580 µs per loop
>>> %timeit df3[~df3.index.duplicated(keep='first')]
1000 loops, best of 3: 307 µs per loop
请注意，您可以通过将 keep 参数更改为 来保留最后一个元素'last'。
还应该注意，此方法也适用于（使用Paul 的示例MultiIndex中指定的 df1 ）：
>>> %timeit df1.groupby(level=df1.index.names).last()
1000 loops, best of 3: 771 µs per loop
>>> %timeit df1[~df1.index.duplicated(keep='last')]
1000 loops, best of 3: 365 µs per loop
解决方案 2：
这会将索引添加为 DataFrame 列，删除该列上的重复项，然后删除新列：
df = (df.reset_index()
.drop_duplicates(subset='index', keep='last')
.set_index('index').sort_index())
.sort_index()请注意，最后的上述使用是根据需要并且是可选的。
解决方案 3：
天哪。这其实很简单！
grouped = df3.groupby(level=0)
df4 = grouped.last()
df4
A B rownum
2001-01-01 00:00:00 0 0 6
2001-01-01 01:00:00 1 1 7
2001-01-01 02:00:00 2 2 8
2001-01-01 03:00:00 3 3 3
2001-01-01 04:00:00 4 4 4
2001-01-01 05:00:00 5 5 5
后续编辑 2013-10-29
在我有一个相当复杂的情况下MultiIndex，我想我更喜欢这种groupby方法。以下是供后人参考的简单示例：
import numpy as np
import pandas
# fake index
idx = pandas.MultiIndex.from_tuples([('a', letter) for letter in list('abcde')])
# random data + naming the index levels
df1 = pandas.DataFrame(np.random.normal(size=(5,2)), index=idx, columns=['colA', 'colB'])
df1.index.names = ['iA', 'iB']
# artificially append some duplicate data
df1 = df1.append(df1.select(lambda idx: idx[1] in ['c', 'e']))
df1
# colA colB
#iA iB
#a a -1.297535 0.691787
# b -1.688411 0.404430
# c 0.275806 -0.078871
# d -0.509815 -0.220326
# e -0.066680 0.607233
# c 0.275806 -0.078871 # <--- dup 1
# e -0.066680 0.607233 # <--- dup 2
这是重点
# group the data, using df1.index.names tells pandas to look at the entire index
groups = df1.groupby(level=df1.index.names)
groups.last() # or .first()
# colA colB
#iA iB
#a a -1.297535 0.691787
# b -1.688411 0.404430
# c 0.275806 -0.078871
# d -0.509815 -0.220326
# e -0.066680 0.607233
解决方案 4：
删除重复项（保留第一个）
idx = np.unique( df.index.values, return_index = True )[1]
df = df.iloc[idx]
删除重复项（保留最后一个）
df = df[::-1]
df = df.iloc[ np.unique( df.index.values, return_index = True )[1] ]
测试：使用 OP 的数据进行 10k 次循环
numpy method - 3.03 seconds
df.loc[~df.index.duplicated(keep='first')] - 4.43 seconds
df.groupby(df.index).first() - 21 seconds
reset_index() method - 29 seconds
解决方案 5：
如果有人像我一样喜欢使用 pandas 点符号（如管道）进行链式数据操作，那么以下内容可能会有用：
df3 = df3.query('~index.duplicated()')
这样就可以实现如下的链接语句：
df3.assign(C=2).query('~index.duplicated()').mean()
解决方案 6：
不幸的是，我认为 Pandas 不允许从索引中删除重复项。我建议如下：
df3 = df3.reset_index() # makes date column part of your data
df3.columns = ['timestamp','A','B','rownum'] # set names
df3 = df3.drop_duplicates('timestamp',take_last=True).set_index('timestamp') #done!
解决方案 7：
另一种方法是pandas.Index.drop_duplicates()使用
df.loc[df.index.drop_duplicates(keep='first'), :]
但是，与公认的答案相比，它的速度较慢。只需使用它即可。
%timeit df.reset_index().drop_duplicates(subset='Notasi', keep='first').set_index('Notasi')
281 µs ± 1.41 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)
%timeit df.groupby(df.index).first()
212 µs ± 3.65 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)
%timeit df[~df.index.duplicated(keep='first')]
38.1 µs ± 116 ns per loop (mean ± std. dev. of 7 runs, 10,000 loops each)
%timeit df.loc[df.index.drop_duplicates(keep='first'), :]
104 µs ± 721 ns per loop (mean ± std. dev. of 7 runs, 10,000 loops each)
解决方案 8：
我遇到过同样的错误，在深入研究每个 df 之后，发现其中一个有 2 个同名的列，你提到你删除了一些列，这可能是原因之一。
相关推荐
热门文章
项目管理软件有哪些？
热门标签
云禅道AD
