NumPy 数组中唯一值的频率计数-IT科技

摘要：问题描述：如何有效地获取 NumPy 数组中每个唯一值的频率计数？>>> x = np.array([1,1,1,2,2,2,5,25,1,1]) >>> freq_count(x) [(1, 5), (2, 3), (5, 1), (25, 1)] 解决方案 1：使用（n...

问题描述：

如何有效地获取 NumPy 数组中每个唯一值的频率计数？

>>> x = np.array([1,1,1,2,2,2,5,25,1,1])
>>> freq_count(x)
[(1, 5), (2, 3), (5, 1), (25, 1)]

解决方案 1：

使用（numpy.unique适用return_counts=True于 NumPy 1.9+）：

import numpy as np

x = np.array([1,1,1,2,2,2,5,25,1,1])
unique, counts = np.unique(x, return_counts=True)

>>> print(np.asarray((unique, counts)).T)
 [[ 1  5]
  [ 2  3]
  [ 5  1]
  [25  1]]

相比之下scipy.stats.itemfreq：

In [4]: x = np.random.random_integers(0,100,1e6)

In [5]: %timeit unique, counts = np.unique(x, return_counts=True)
10 loops, best of 3: 31.5 ms per loop

In [6]: %timeit scipy.stats.itemfreq(x)
10 loops, best of 3: 170 ms per loop

解决方案 2：

请看一下np.bincount：

http://docs.scipy.org/doc/numpy/reference/ generated/numpy.bincount.html

import numpy as np
x = np.array([1,1,1,2,2,2,5,25,1,1])
y = np.bincount(x)
ii = np.nonzero(y)[0]

进而：

zip(ii,y[ii]) 
# [(1, 5), (2, 3), (5, 1), (25, 1)]

或者：

np.vstack((ii,y[ii])).T
# array([[ 1,  5],
         [ 2,  3],
         [ 5,  1],
         [25,  1]])

或者无论你想如何组合计数和唯一值。

解决方案 3：

使用这个：

>>> import numpy as np
>>> x = [1,1,1,2,2,2,5,25,1,1]
>>> np.array(np.unique(x, return_counts=True)).T
    array([[ 1,  5],
           [ 2,  3],
           [ 5,  1],
           [25,  1]])

原始答案：

使用scipy.stats.itemfreq（警告：已弃用）：

>>> from scipy.stats import itemfreq
>>> x = [1,1,1,2,2,2,5,25,1,1]
>>> itemfreq(x)
/usr/local/bin/python:1: DeprecationWarning: `itemfreq` is deprecated! `itemfreq` is deprecated and will be removed in a future version. Use instead `np.unique(..., return_counts=True)`
array([[  1.,   5.],
       [  2.,   3.],
       [  5.,   1.],
       [ 25.,   1.]])

解决方案 4：

我对此也很感兴趣，因此我做了一些性能比较（使用perfplot，我的一个私人项目）。结果：

y = np.bincount(a)
ii = np.nonzero(y)[0]
out = np.vstack((ii, y[ii])).T

是迄今为止最快的。（请注意对数缩放。）

在此处输入图片描述

生成图表的代码：

import numpy as np
import pandas as pd
import perfplot
from scipy.stats import itemfreq


def bincount(a):
    y = np.bincount(a)
    ii = np.nonzero(y)[0]
    return np.vstack((ii, y[ii])).T


def unique(a):
    unique, counts = np.unique(a, return_counts=True)
    return np.asarray((unique, counts)).T


def unique_count(a):
    unique, inverse = np.unique(a, return_inverse=True)
    count = np.zeros(len(unique), dtype=int)
    np.add.at(count, inverse, 1)
    return np.vstack((unique, count)).T


def pandas_value_counts(a):
    out = pd.value_counts(pd.Series(a))
    out.sort_index(inplace=True)
    out = np.stack([out.keys().values, out.values]).T
    return out


b = perfplot.bench(
    setup=lambda n: np.random.randint(0, 1000, n),
    kernels=[bincount, unique, itemfreq, unique_count, pandas_value_counts],
    n_range=[2 ** k for k in range(26)],
    xlabel="len(a)",
)
b.save("out.png")
b.show()

解决方案 5：

使用 pandas 模块：

>>> import pandas as pd
>>> import numpy as np
>>> x = np.array([1,1,1,2,2,2,5,25,1,1])
>>> pd.value_counts(x)
1     5
2     3
25    1
5     1
dtype: int64

解决方案 6：

这是迄今为止最通用和最有效的解决方案；令人惊讶的是它还没有发布。

import numpy as np

def unique_count(a):
    unique, inverse = np.unique(a, return_inverse=True)
    count = np.zeros(len(unique), np.int)
    np.add.at(count, inverse, 1)
    return np.vstack(( unique, count)).T

print unique_count(np.random.randint(-10,10,100))

与当前接受的答案不同，它适用于任何可排序的数据类型（而不仅仅是正整数），并且具有最佳性能；唯一显著的开销在于 np.unique 所做的排序。

解决方案 7：

numpy.bincount可能是最好的选择。如果你的数组除了小的密集整数之外还包含其他内容，那么像这样包装它可能会很有用：

def count_unique(keys):
    uniq_keys = np.unique(keys)
    bins = uniq_keys.searchsorted(keys)
    return uniq_keys, np.bincount(bins)

例如：

>>> x = array([1,1,1,2,2,2,5,25,1,1])
>>> count_unique(x)
(array([ 1,  2,  5, 25]), array([5, 3, 1, 1]))

解决方案 8：

尽管已经有人回答过这个问题，但我建议采用不同的方法，即利用。此类函数给定一个序列，它返回按箱分组的numpy.histogram元素的频率。

但请注意：此示例之所以有效，是因为数字是整数。如果它们是实数，那么此解决方案将不再适用。

>>> from numpy import histogram
>>> y = histogram (x, bins=x.max()-1)
>>> y
(array([5, 3, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       1]),
 array([  1.,   2.,   3.,   4.,   5.,   6.,   7.,   8.,   9.,  10.,  11.,
        12.,  13.,  14.,  15.,  16.,  17.,  18.,  19.,  20.,  21.,  22.,
        23.,  24.,  25.]))

解决方案 9：

老问题，但我想提供我自己的解决方案，根据我的台架测试，该解决方案被证明是最快的，使用正常list而不是作为输入（或首先转移到列表）。np.array

如果你也遇到了，请检查一下。

def count(a):
    results = {}
    for x in a:
        if x not in results:
            results[x] = 1
        else:
            results[x] += 1
    return results

例如，

>>>timeit count([1,1,1,2,2,2,5,25,1,1]) would return:

100000 次循环，3 次中最佳：每次循环 2.26 µs

>>>timeit count(np.array([1,1,1,2,2,2,5,25,1,1]))

100000 次循环，3 次中最佳：每次循环 8.8 µs

>>>timeit count(np.array([1,1,1,2,2,2,5,25,1,1]).tolist())

100000 次循环，3 次中最佳：每次循环 5.85 µs

而接受的答案会更慢，scipy.stats.itemfreq解决方案甚至更糟糕。

更深入的测试并未证实所制定的预期。

from zmq import Stopwatch
aZmqSTOPWATCH = Stopwatch()

aDataSETasARRAY = ( 100 * abs( np.random.randn( 150000 ) ) ).astype( np.int )
aDataSETasLIST  = aDataSETasARRAY.tolist()

import numba
@numba.jit
def numba_bincount( anObject ):
    np.bincount(    anObject )
    return

aZmqSTOPWATCH.start();np.bincount(    aDataSETasARRAY );aZmqSTOPWATCH.stop()
14328L

aZmqSTOPWATCH.start();numba_bincount( aDataSETasARRAY );aZmqSTOPWATCH.stop()
592L

aZmqSTOPWATCH.start();count(          aDataSETasLIST  );aZmqSTOPWATCH.stop()
148609L

参考下面关于缓存和其他 RAM 副作用的评论，这些副作用会影响小数据集大量重复的测试结果。

解决方案 10：

import pandas as pd
import numpy as np
x = np.array( [1,1,1,2,2,2,5,25,1,1] )
print(dict(pd.Series(x).value_counts()))

这样你就得到了：{1: 5, 2: 3, 5: 1, 25: 1}

解决方案 11：

为了计算唯一的非整数——类似于 Eelco Hoogendoorn 的答案，但速度明显更快（在我的计算机上是 5 倍），我曾经weave.inline结合numpy.unique一些 c 代码；

import numpy as np
from scipy import weave

def count_unique(datain):
  """
  Similar to numpy.unique function for returning unique members of
  data, but also returns their counts
  """
  data = np.sort(datain)
  uniq = np.unique(data)
  nums = np.zeros(uniq.shape, dtype='int')

  code="""
  int i,count,j;
  j=0;
  count=0;
  for(i=1; i<Ndata[0]; i++){
      count++;
      if(data(i) > data(i-1)){
          nums(j) = count;
          count = 0;
          j++;
      }
  }
  // Handle last value
  nums(j) = count+1;
  """
  weave.inline(code,
      ['data', 'nums'],
      extra_compile_args=['-O2'],
      type_converters=weave.converters.blitz)
  return uniq, nums

个人资料信息

> %timeit count_unique(data)
> 10000 loops, best of 3: 55.1 µs per loop

Eelco 的纯净numpy版本：

> %timeit unique_count(data)
> 1000 loops, best of 3: 284 µs per loop

笔记

这里有冗余（unique也执行排序），这意味着可以通过将unique功能放入 c 代码循环内来进一步优化代码。

解决方案 12：

多维频率计数，即计数数组。

>>> print(color_array    )
  array([[255, 128, 128],
   [255, 128, 128],
   [255, 128, 128],
   ...,
   [255, 128, 128],
   [255, 128, 128],
   [255, 128, 128]], dtype=uint8)


>>> np.unique(color_array,return_counts=True,axis=0)
  (array([[ 60, 151, 161],
    [ 60, 155, 162],
    [ 60, 159, 163],
    [ 61, 143, 162],
    [ 61, 147, 162],
    [ 61, 162, 163],
    [ 62, 166, 164],
    [ 63, 137, 162],
    [ 63, 169, 164],
   array([     1,      2,      2,      1,      4,      1,      1,      2,
         3,      1,      1,      1,      2,      5,      2,      2,
       898,      1,      1,

解决方案 13：

import pandas as pd
import numpy as np

print(pd.Series(name_of_array).value_counts())

解决方案 14：

from collections import Counter
x = array( [1,1,1,2,2,2,5,25,1,1] )
mode = counter.most_common(1)[0][0]

解决方案 15：

大多数简单的问题都变得复杂了，因为各种 Python 库都缺少 R 中的 order() 等简单功能，它可以同时提供正序和降序的统计结果。但是，如果我们设想一下，Python 中所有这些统计排序和参数都可以在 pandas 中轻松找到，那么我们就可以比在 100 个不同的地方寻找更快地得到结果。此外，R 和 pandas 的开发齐头并进，因为它们是为了相同的目的而创建的。为了解决这个问题，我使用了以下代码，它可以让我在任何地方都得到帮助：

unique, counts = np.unique(x, return_counts=True)
d = {'unique':unique, 'counts':count}  # pass the list to a dictionary
df = pd.DataFrame(d) #dictionary object can be easily passed to make a dataframe
df.sort_values(by = 'count', ascending=False, inplace = True)
df = df.reset_index(drop=True) #optional only if you want to use it further

解决方案 16：

像这样的事情应该可以做到：

#create 100 random numbers
arr = numpy.random.random_integers(0,50,100)

#create a dictionary of the unique values
d = dict([(i,0) for i in numpy.unique(arr)])
for number in arr:
    d[j]+=1   #increment when that value is found

此外，除非我遗漏了什么，否则之前关于有效计算唯一元素的帖子看起来与您的问题非常相似。

解决方案 17：

你可以freq_count这样写：

def freq_count(data):
    mp = dict();
    for i in data:
        if i in mp:
            mp[i] = mp[i]+1
        else:
            mp[i] = 1
    return mp