“ValueError：无法从重复的轴重新索引”是什么意思？
- 2025-01-21 09:01:00
- admin 原创
- 93
问题描述：
当我尝试将索引设置为某个值时，我得到了一个错误ValueError: cannot reindex from a duplicate axis。我尝试用一个简单的示例重现此问题，但我做不到。
这是我在跟踪中的会话ipdb。我有一个 DataFrame，其中包含字符串索引、整数列和浮点值。但是，当我尝试sum为所有列的总和创建索引时，我收到ValueError: cannot reindex from a duplicate axis错误。我创建了一个具有相同特征的小型 DataFrame，但无法重现该问题，我可能遗漏了什么？
我不太明白ValueError: cannot reindex from a duplicate axis这个错误信息是什么意思？也许这会帮助我诊断问题，这也是我的问题中最能回答的部分。
ipdb> type(affinity_matrix)
<class 'pandas.core.frame.DataFrame'>
ipdb> affinity_matrix.shape
(333, 10)
ipdb> affinity_matrix.columns
Int64Index([9315684, 9315597, 9316591, 9320520, 9321163, 9320615, 9321187, 9319487, 9319467, 9320484], dtype='int64')
ipdb> affinity_matrix.index
Index([u'001', u'002', u'003', u'004', u'005', u'008', u'009', u'010', u'011', u'014', u'015', u'016', u'018', u'020', u'021', u'022', u'024', u'025', u'026', u'027', u'028', u'029', u'030', u'032', u'033', u'034', u'035', u'036', u'039', u'040', u'041', u'042', u'043', u'044', u'045', u'047', u'047', u'048', u'050', u'053', u'054', u'055', u'056', u'057', u'058', u'059', u'060', u'061', u'062', u'063', u'065', u'067', u'068', u'069', u'070', u'071', u'072', u'073', u'074', u'075', u'076', u'077', u'078', u'080', u'082', u'083', u'084', u'085', u'086', u'089', u'090', u'091', u'092', u'093', u'094', u'095', u'096', u'097', u'098', u'100', u'101', u'103', u'104', u'105', u'106', u'107', u'108', u'109', u'110', u'111', u'112', u'113', u'114', u'115', u'116', u'117', u'118', u'119', u'121', u'122', ...], dtype='object')
ipdb> affinity_matrix.values.dtype
dtype('float64')
ipdb> 'sums' in affinity_matrix.index
False
错误如下：
ipdb> affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0)
*** ValueError: cannot reindex from a duplicate axis
我尝试用一个简单的例子来重现这个问题，但是失败了
In [32]: import pandas as pd
In [33]: import numpy as np
In [34]: a = np.arange(35).reshape(5,7)
In [35]: df = pd.DataFrame(a, ['x', 'y', 'u', 'z', 'w'], range(10, 17))
In [36]: df.values.dtype
Out[36]: dtype('int64')
In [37]: df.loc['sums'] = df.sum(axis=0)
In [38]: df
Out[38]:
10 11 12 13 14 15 16
x 0 1 2 3 4 5 6
y 7 8 9 10 11 12 13
u 14 15 16 17 18 19 20
z 21 22 23 24 25 26 27
w 28 29 30 31 32 33 34
sums 70 75 80 85 90 95 100
解决方案 1：
当索引具有重复值时，您连接/分配到列时通常会出现此错误。由于您正在分配给一行，我怀疑中有一个重复值affinity_matrix.columns，也许没有在您的问题中显示。
解决方案 2：
正如其他人所说，您的原始索引中可能存在重复值。要找到它们，请执行以下操作：
df[df.index.duplicated()]
解决方案 3：
如果通过连接其他 DataFrame 来创建 DataFrame，则经常会出现具有重复值的索引。如果您不关心保留索引的值，并且希望它们是唯一值，则在连接数据时，请设置ignore_index=True。
或者，要用新索引覆盖当前索引，而不是使用df.reindex()，请设置：
df.index = new_index
解决方案 4：
简单修复
分组前运行此命令
df = df.reset_index()
感谢这个 github 评论提供的解决方案。
解决方案 5：
对于仍在努力解决此错误的人来说，如果您不小心创建了具有相同名称的重复列，也可能会发生这种情况。 删除重复的列，如下所示：
df = df.loc[:,~df.columns.duplicated()]
解决方案 6：
.values只需跳过最后的使用错误。
affinity_matrix.loc['sums'] = affinity_matrix.sum(axis=0).values
解决方案 7：
今天我想添加这样的新列时遇到了这个错误
df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)
我想处理 的REMARK列df_temp以返回 1 或 0。但是我输入了错误的变量df。它返回了如下错误：
----> 1 df_temp['REMARK_TYPE'] = df.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)
/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in __setitem__(self, key, value)
2417 else:
2418 # set column
-> 2419 self._set_item(key, value)
2420
2421 def _setitem_slice(self, key, value):
/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _set_item(self, key, value)
2483
2484 self._ensure_valid_index(value)
-> 2485 value = self._sanitize_column(key, value)
2486 NDFrame._set_item(self, key, value)
2487
/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in _sanitize_column(self, key, value, broadcast)
2633
2634 if isinstance(value, Series):
-> 2635 value = reindexer(value)
2636
2637 elif isinstance(value, DataFrame):
/usr/lib64/python2.7/site-packages/pandas/core/frame.pyc in reindexer(value)
2625 # duplicate axis
2626 if not value.index.is_unique:
-> 2627 raise e
2628
2629 # other
ValueError: cannot reindex from a duplicate axis
如你所见，正确的代码应该是
df_temp['REMARK_TYPE'] = df_temp.REMARK.apply(lambda v: 1 if str(v)!='nan' else 0)
由于df和df_temp的行数不同。因此它返回ValueError: cannot reindex from a duplicate axis。
希望您能理解它，并且我的回答可以帮助其他人调试他们的代码。
解决方案 8：
在我的例子中，出现此错误不是因为重复值，而是因为我尝试将较短的 Series 连接到 Dataframe：两者都具有相同的索引，但 Series 的行数较少（缺少前几行）。以下方法对我的目的有用：
df.head()
SensA
date
2018-04-03 13:54:47.274 -0.45
2018-04-03 13:55:46.484 -0.42
2018-04-03 13:56:56.235 -0.37
2018-04-03 13:57:57.207 -0.34
2018-04-03 13:59:34.636 -0.33
series.head()
date
2018-04-03 14:09:36.577 62.2
2018-04-03 14:10:28.138 63.5
2018-04-03 14:11:27.400 63.1
2018-04-03 14:12:39.623 62.6
2018-04-03 14:13:27.310 62.5
Name: SensA_rrT, dtype: float64
df = series.to_frame().combine_first(df)
df.head(10)
SensA SensA_rrT
date
2018-04-03 13:54:47.274 -0.45 NaN
2018-04-03 13:55:46.484 -0.42 NaN
2018-04-03 13:56:56.235 -0.37 NaN
2018-04-03 13:57:57.207 -0.34 NaN
2018-04-03 13:59:34.636 -0.33 NaN
2018-04-03 14:00:34.565 -0.33 NaN
2018-04-03 14:01:19.994 -0.37 NaN
2018-04-03 14:02:29.636 -0.34 NaN
2018-04-03 14:03:31.599 -0.32 NaN
2018-04-03 14:04:30.779 -0.33 NaN
2018-04-03 14:05:31.733 -0.35 NaN
2018-04-03 14:06:33.290 -0.38 NaN
2018-04-03 14:07:37.459 -0.39 NaN
2018-04-03 14:08:36.361 -0.36 NaN
2018-04-03 14:09:36.577 -0.37 62.2
解决方案 9：
我在同一个问题上浪费了几个小时。就我而言，我必须在使用应用函数之前对数据框进行reset_index()。在合并或从另一个索引数据集查找之前，您需要重置索引，因为 1 个数据集只能有 1 个索引。
解决方案 10：
当我尝试从另一个表添加列时，我收到此错误。事实上，我在此过程中得到了重复的索引值。但事实证明我只是做错了：我实际上需要df.join另一个表。
这个指针可能会对处于类似情况的人有所帮助。
解决方案 11：
只需将 .to_numpy() 添加到要连接的系列的末尾。
解决方案 12：
就我而言，这是由于尺寸不匹配造成的：
mul在操作过程中意外使用了来自不同 df 的列
解决方案 13：
确保您的索引没有任何重复项，我只需这样做df.reset_index(drop=True, inplace=True)，就不会再收到错误！但您可能希望保留索引，在这种情况下，只需将 drop 设置为 False
解决方案 14：
df = df.reset_index(drop=True)为我工作
解决方案 15：
我正在尝试使用 seaborn 创建直方图。
sns.histplot(data=df, x='Blood Chemistry 1', hue='Outcome', discrete=False, multiple='stack')
我得到了ValueError: cannot reindex from a duplicate axis。为了解决这个问题，我必须只选择 x 没有缺失值的行：
data = df[~df['Blood Chemistry 1'].isnull()]
解决方案 16：
这也可能是造成这种情况的原因[:) 我是这样解决我的问题的]
即使您尝试在数据框内插入数据框类型列，也可能会发生这种情况
你可以尝试这个
df['my_new']=pd.Series(my_new.values)
解决方案 17：
如果在合并两个数据框并删除后缀后尝试写入 excel 后出现此错误，则您的问题是您未合并的列对两个源数据框都是通用的。Pandas 需要一种方法来说明哪一个来自哪里，因此它会添加后缀，默认值为左侧的“_x”和右侧的“_y”。
如果您偏好保留哪个源数据框中的列，那么您可以设置后缀并进行相应的过滤，例如，如果您想保留左侧冲突的列：
# Label the two sides, with no suffix on the side you want to keep
df = pd.merge(
df,
tempdf[what_i_care_about],
on=['myid', 'myorder'],
how='outer',
suffixes=('', '_delete_suffix') # Left gets no suffix, right gets something identifiable
)
# Discard the columns that acquired a suffix
df = df[[c for c in df.columns if not c.endswith('_delete_suffix')]]
或者，您可以在合并之前删除每个冲突的列中的一个，这样 Pandas 就不需要分配后缀了。
解决方案 18：
当我将 2 个数据框附加到另一个数据框（df3 = df1.append(df2)）时发生了这种情况，因此输出为：
df1
A B
0 1 a
1 2 b
2 3 c
df2
A B
0 4 d
1 5 e
2 6 f
df3
A B
0 1 a
1 2 b
2 3 c
0 4 d
1 5 e
2 6 f
修复索引的最简单方法是使用“df.reset_index(drop=bool, inplace=bool)”方法，正如 Connor 所说......您还可以将“drop”参数设置为 True以避免将索引列表创建为列，并将“inplace”设置为True以使索引永久重置。
这是官方参考： https： //pandas.pydata.org/docs/reference/api/pandas.DataFrame.reset_index.html
此外，您还可以使用“.set_index(keys=list, inplace=bool)”方法，如下所示：
new_index_list = list(range(0, len(df3)))
df3['new_index'] = new_index_list
df3.set_index(keys='new_index', inplace=True)
官方参考：https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.set_index.html
