NumPy 数组中唯一值的频率计数
- 2025-01-20 09:07:00
- admin 原创
- 79
问题描述:
如何有效地获取 NumPy 数组中每个唯一值的频率计数?
>>> x = np.array([1,1,1,2,2,2,5,25,1,1])
>>> freq_count(x)
[(1, 5), (2, 3), (5, 1), (25, 1)]
解决方案 1:
使用(numpy.unique
适用return_counts=True
于 NumPy 1.9+):
import numpy as np
x = np.array([1,1,1,2,2,2,5,25,1,1])
unique, counts = np.unique(x, return_counts=True)
>>> print(np.asarray((unique, counts)).T)
[[ 1 5]
[ 2 3]
[ 5 1]
[25 1]]
相比之下scipy.stats.itemfreq
:
In [4]: x = np.random.random_integers(0,100,1e6)
In [5]: %timeit unique, counts = np.unique(x, return_counts=True)
10 loops, best of 3: 31.5 ms per loop
In [6]: %timeit scipy.stats.itemfreq(x)
10 loops, best of 3: 170 ms per loop
解决方案 2:
请看一下np.bincount
:
http://docs.scipy.org/doc/numpy/reference/ generated/numpy.bincount.html
import numpy as np
x = np.array([1,1,1,2,2,2,5,25,1,1])
y = np.bincount(x)
ii = np.nonzero(y)[0]
进而:
zip(ii,y[ii])
# [(1, 5), (2, 3), (5, 1), (25, 1)]
或者:
np.vstack((ii,y[ii])).T
# array([[ 1, 5],
[ 2, 3],
[ 5, 1],
[25, 1]])
或者无论你想如何组合计数和唯一值。
解决方案 3:
使用这个:
>>> import numpy as np
>>> x = [1,1,1,2,2,2,5,25,1,1]
>>> np.array(np.unique(x, return_counts=True)).T
array([[ 1, 5],
[ 2, 3],
[ 5, 1],
[25, 1]])
原始答案:
使用scipy.stats.itemfreq
(警告:已弃用):
>>> from scipy.stats import itemfreq
>>> x = [1,1,1,2,2,2,5,25,1,1]
>>> itemfreq(x)
/usr/local/bin/python:1: DeprecationWarning: `itemfreq` is deprecated! `itemfreq` is deprecated and will be removed in a future version. Use instead `np.unique(..., return_counts=True)`
array([[ 1., 5.],
[ 2., 3.],
[ 5., 1.],
[ 25., 1.]])
解决方案 4:
我对此也很感兴趣,因此我做了一些性能比较(使用perfplot,我的一个私人项目)。结果:
y = np.bincount(a)
ii = np.nonzero(y)[0]
out = np.vstack((ii, y[ii])).T
是迄今为止最快的。(请注意对数缩放。)
生成图表的代码:
import numpy as np
import pandas as pd
import perfplot
from scipy.stats import itemfreq
def bincount(a):
y = np.bincount(a)
ii = np.nonzero(y)[0]
return np.vstack((ii, y[ii])).T
def unique(a):
unique, counts = np.unique(a, return_counts=True)
return np.asarray((unique, counts)).T
def unique_count(a):
unique, inverse = np.unique(a, return_inverse=True)
count = np.zeros(len(unique), dtype=int)
np.add.at(count, inverse, 1)
return np.vstack((unique, count)).T
def pandas_value_counts(a):
out = pd.value_counts(pd.Series(a))
out.sort_index(inplace=True)
out = np.stack([out.keys().values, out.values]).T
return out
b = perfplot.bench(
setup=lambda n: np.random.randint(0, 1000, n),
kernels=[bincount, unique, itemfreq, unique_count, pandas_value_counts],
n_range=[2 ** k for k in range(26)],
xlabel="len(a)",
)
b.save("out.png")
b.show()
解决方案 5:
使用 pandas 模块:
>>> import pandas as pd
>>> import numpy as np
>>> x = np.array([1,1,1,2,2,2,5,25,1,1])
>>> pd.value_counts(x)
1 5
2 3
25 1
5 1
dtype: int64
解决方案 6:
这是迄今为止最通用和最有效的解决方案;令人惊讶的是它还没有发布。
import numpy as np
def unique_count(a):
unique, inverse = np.unique(a, return_inverse=True)
count = np.zeros(len(unique), np.int)
np.add.at(count, inverse, 1)
return np.vstack(( unique, count)).T
print unique_count(np.random.randint(-10,10,100))
与当前接受的答案不同,它适用于任何可排序的数据类型(而不仅仅是正整数),并且具有最佳性能;唯一显著的开销在于 np.unique 所做的排序。
解决方案 7:
numpy.bincount
可能是最好的选择。如果你的数组除了小的密集整数之外还包含其他内容,那么像这样包装它可能会很有用:
def count_unique(keys):
uniq_keys = np.unique(keys)
bins = uniq_keys.searchsorted(keys)
return uniq_keys, np.bincount(bins)
例如:
>>> x = array([1,1,1,2,2,2,5,25,1,1])
>>> count_unique(x)
(array([ 1, 2, 5, 25]), array([5, 3, 1, 1]))
解决方案 8:
尽管已经有人回答过这个问题,但我建议采用不同的方法,即利用。此类函数给定一个序列,它返回按箱分组的numpy.histogram
元素的频率。
但请注意:此示例之所以有效,是因为数字是整数。如果它们是实数,那么此解决方案将不再适用。
>>> from numpy import histogram
>>> y = histogram (x, bins=x.max()-1)
>>> y
(array([5, 3, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
1]),
array([ 1., 2., 3., 4., 5., 6., 7., 8., 9., 10., 11.,
12., 13., 14., 15., 16., 17., 18., 19., 20., 21., 22.,
23., 24., 25.]))
解决方案 9:
老问题,但我想提供我自己的解决方案,根据我的台架测试,该解决方案被证明是最快的,使用正常list
而不是作为输入(或首先转移到列表)。np.array
如果你也遇到了,请检查一下。
def count(a):
results = {}
for x in a:
if x not in results:
results[x] = 1
else:
results[x] += 1
return results
例如,
>>>timeit count([1,1,1,2,2,2,5,25,1,1]) would return:
100000 次循环,3 次中最佳:每次循环 2.26 µs
>>>timeit count(np.array([1,1,1,2,2,2,5,25,1,1]))
100000 次循环,3 次中最佳:每次循环 8.8 µs
>>>timeit count(np.array([1,1,1,2,2,2,5,25,1,1]).tolist())
100000 次循环,3 次中最佳:每次循环 5.85 µs
而接受的答案会更慢,scipy.stats.itemfreq
解决方案甚至更糟糕。
更深入的测试并未证实所制定的预期。
from zmq import Stopwatch
aZmqSTOPWATCH = Stopwatch()
aDataSETasARRAY = ( 100 * abs( np.random.randn( 150000 ) ) ).astype( np.int )
aDataSETasLIST = aDataSETasARRAY.tolist()
import numba
@numba.jit
def numba_bincount( anObject ):
np.bincount( anObject )
return
aZmqSTOPWATCH.start();np.bincount( aDataSETasARRAY );aZmqSTOPWATCH.stop()
14328L
aZmqSTOPWATCH.start();numba_bincount( aDataSETasARRAY );aZmqSTOPWATCH.stop()
592L
aZmqSTOPWATCH.start();count( aDataSETasLIST );aZmqSTOPWATCH.stop()
148609L
参考下面关于缓存和其他 RAM 副作用的评论,这些副作用会影响小数据集大量重复的测试结果。
解决方案 10:
import pandas as pd
import numpy as np
x = np.array( [1,1,1,2,2,2,5,25,1,1] )
print(dict(pd.Series(x).value_counts()))
这样你就得到了:{1: 5, 2: 3, 5: 1, 25: 1}
解决方案 11:
为了计算唯一的非整数——类似于 Eelco Hoogendoorn 的答案,但速度明显更快(在我的计算机上是 5 倍),我曾经weave.inline
结合numpy.unique
一些 c 代码;
import numpy as np
from scipy import weave
def count_unique(datain):
"""
Similar to numpy.unique function for returning unique members of
data, but also returns their counts
"""
data = np.sort(datain)
uniq = np.unique(data)
nums = np.zeros(uniq.shape, dtype='int')
code="""
int i,count,j;
j=0;
count=0;
for(i=1; i<Ndata[0]; i++){
count++;
if(data(i) > data(i-1)){
nums(j) = count;
count = 0;
j++;
}
}
// Handle last value
nums(j) = count+1;
"""
weave.inline(code,
['data', 'nums'],
extra_compile_args=['-O2'],
type_converters=weave.converters.blitz)
return uniq, nums
个人资料信息
> %timeit count_unique(data)
> 10000 loops, best of 3: 55.1 µs per loop
Eelco 的纯净numpy
版本:
> %timeit unique_count(data)
> 1000 loops, best of 3: 284 µs per loop
笔记
这里有冗余(unique
也执行排序),这意味着可以通过将unique
功能放入 c 代码循环内来进一步优化代码。
解决方案 12:
多维频率计数,即计数数组。
>>> print(color_array )
array([[255, 128, 128],
[255, 128, 128],
[255, 128, 128],
...,
[255, 128, 128],
[255, 128, 128],
[255, 128, 128]], dtype=uint8)
>>> np.unique(color_array,return_counts=True,axis=0)
(array([[ 60, 151, 161],
[ 60, 155, 162],
[ 60, 159, 163],
[ 61, 143, 162],
[ 61, 147, 162],
[ 61, 162, 163],
[ 62, 166, 164],
[ 63, 137, 162],
[ 63, 169, 164],
array([ 1, 2, 2, 1, 4, 1, 1, 2,
3, 1, 1, 1, 2, 5, 2, 2,
898, 1, 1,
解决方案 13:
import pandas as pd
import numpy as np
print(pd.Series(name_of_array).value_counts())
解决方案 14:
from collections import Counter
x = array( [1,1,1,2,2,2,5,25,1,1] )
mode = counter.most_common(1)[0][0]
解决方案 15:
大多数简单的问题都变得复杂了,因为各种 Python 库都缺少 R 中的 order() 等简单功能,它可以同时提供正序和降序的统计结果。但是,如果我们设想一下,Python 中所有这些统计排序和参数都可以在 pandas 中轻松找到,那么我们就可以比在 100 个不同的地方寻找更快地得到结果。此外,R 和 pandas 的开发齐头并进,因为它们是为了相同的目的而创建的。为了解决这个问题,我使用了以下代码,它可以让我在任何地方都得到帮助:
unique, counts = np.unique(x, return_counts=True)
d = {'unique':unique, 'counts':count} # pass the list to a dictionary
df = pd.DataFrame(d) #dictionary object can be easily passed to make a dataframe
df.sort_values(by = 'count', ascending=False, inplace = True)
df = df.reset_index(drop=True) #optional only if you want to use it further
解决方案 16:
像这样的事情应该可以做到:
#create 100 random numbers
arr = numpy.random.random_integers(0,50,100)
#create a dictionary of the unique values
d = dict([(i,0) for i in numpy.unique(arr)])
for number in arr:
d[j]+=1 #increment when that value is found
此外,除非我遗漏了什么,否则之前关于 有效计算唯一元素的帖子看起来与您的问题非常相似。
解决方案 17:
你可以freq_count
这样写:
def freq_count(data):
mp = dict();
for i in data:
if i in mp:
mp[i] = mp[i]+1
else:
mp[i] = 1
return mp