在 python 中是否有任何内置方法可以获取可迭代对象的长度?[重复]

2025-03-14 08:57:00
admin
原创
9
摘要:问题描述:例如,在 Python 中,文件是可迭代的 - 它们迭代文件中的行。我想要计算行数。一个快捷方式是这样做:lines = len(list(open(fname))) 但是,这会将整个文件加载到内存中(一次)。这违背了迭代器的目的(它只需要将当前行保留在内存中)。这不起作用:lines = len(...

问题描述:

例如,在 Python 中,文件是可迭代的 - 它们迭代文件中的行。我想要计算行数。

一个快捷方式是这样做:

lines = len(list(open(fname)))

但是,这会将整个文件加载到内存中(一次)。这违背了迭代器的目的(它只需要将当前行保留在内存中)。

这不起作用:

lines = len(line for line in open(fname))

因为发电机没有长度。

除了定义计数函数之外,还有其他方法可以做到这一点吗?

def count(i):
    c = 0
    for el in i: c += 1
    return c

澄清一下,我理解必须读取整个文件!我只是不想一下子把它全部存入内存


解决方案 1:

除了迭代可迭代对象并计算迭代次数外,没有其他方法。这就是使其成为可迭代对象而不是列表的原因。这实际上甚至不是 Python 特有的问题。看看经典的链表数据结构。查找长度是一个 O(n) 操作,涉及迭代整个列表以查找元素的数量。

正如 mcrute 上面提到的,您可以将功能简化为:

def count_iterable(i):
    return sum(1 for e in i)

当然,如果您定义了自己的可迭代对象,您可以随时实现__len__自己并在某处保存元素计数。

解决方案 2:

如果您需要计算行数,您可以这样做,我不知道还有什么更好的方法:

line_count = sum(1 for line in open("yourfile.txt"))

解决方案 3:

cardinality包提供了一个高效的count()函数和一些相关函数来计算和检查任何可迭代对象的大小:http://cardinality.readthedocs.org/

import cardinality

it = some_iterable(...)
print(cardinality.count(it))

在内部,它使用enumerate()并将collections.deque()所有实际的循环和计数逻辑移动到 C 级别,从而大大加快了forPython 中的循环速度。

解决方案 4:

事实证明,这个常见问题有一个可行的解决方案。考虑使用ilen()中的函数more_itertools

more_itertools.ilen(iterable)

在文件中打印若干行的示例(我们使用with语句来安全地处理关闭文件):

# Example
import more_itertools

with open("foo.py", "r+") as f:
    print(more_itertools.ilen(f))

# Output: 433

此示例返回的结果与前面介绍的对文件中的行进行总计的解决方案相同:

# Equivalent code
with open("foo.py", "r+") as f:
    print(sum(1 for line in f))

# Output: 433

解决方案 5:

我已经使用这个重新定义有一段时间了:

def len(thingy):
    try:
        return thingy.__len__()
    except AttributeError:
        return sum(1 for item in iter(thingy))

解决方案 6:

绝对不是,原因很简单,可迭代对象不能保证是有限的。

考虑这个完全合法的生成器函数:

def forever():
    while True:
        yield "I will run forever"

尝试用计算这个函数的长度len([x for x in forever()])显然是行不通的。

正如您所指出的,迭代器/生成器的大部分目的是能够在不将所有内容加载到内存中的情况下处理大型数据集。您无法立即获得长度这一事实应该被视为一种权衡。

解决方案 7:

因为当时显然没有注意到重复,所以我也会在这里发布我对重复问题的回答的摘录:

有一种方法可以比可sum(1 for i in it)迭代对象很长时执行得更快(而当可迭代对象很短时不会显著变慢),同时保持固定的内存开销行为(与不同len(list(it))),以避免交换抖动和较大输入的重新分配开销。

# On Python 2 only, get zip that lazily generates results instead of returning list
from future_builtins import zip

from collections import deque
from itertools import count

def ilen(it):
    # Make a stateful counting iterator
    cnt = count()
    # zip it with the input iterator, then drain until input exhausted at C level
    deque(zip(it, cnt), 0) # cnt must be second zip arg to avoid advancing too far
    # Since count 0 based, the next value is the count
    return next(cnt)

与 一样len(list(it))ilen(it)在 CPython 上用 C 代码执行循环(dequecountzip都是用 C 实现的);避免每次循环执行字节码通常是 CPython 性能的关键。

我不会在这里重复所有的性能数据,而只是向您指出我的答案以及完整的性能细节。

解决方案 8:

对于过滤,可以使用以下变体:

sum(is_good(item) for item in iterable)

它可以自然地读作“计算好物品”,并且比以下内容更短更简单(尽管可能不太惯用):

sum(1 for item in iterable if is_good(item)))

True注意:在数字上下文中计算为的事实1在文档(https://docs.python.org/3.6/library/stdtypes.html#boolean-values)中指定,因此这种强制不是黑客行为(与 C/C++ 等其他一些语言相反)。

解决方案 9:

我们会,如果你仔细想想,你打算如何找出文件中的行数,而无需读取整个文件以查找换行符?当然,你可以找到文件的大小,如果你能保证一行的长度为 x,你就可以得到文件中的行数。但除非你有某种限制,否则我看不出这怎么可能行得通。此外,由于可迭代对象可以无限长...

解决方案 10:

我在我的一些代码中对两个常见程序进行了测试,该测试找出 n 个顶点上有多少个图,以查看哪种计算生成列表元素的方法更快。Sage 有一个生成器 graphs(n),它可以生成 n 个顶点上的所有图。我创建了两个函数,它们以两种不同的方式获取迭代器获得的列表的长度,并使用 time.time() 函数对每个函数进行计时(平均超过 100 次测试运行)。这些函数如下:

def test_code_list(n):
    l = graphs(n)
    return len(list(l))

def test_code_sum(n):
    S = sum(1 for _ in graphs(n))
    return S

现在我对每个方法进行计时

import time

t0 = time.time()
for i in range(100):
    test_code_list(5)
t1 = time.time()

avg_time = (t1-t0)/10

print 'average list method time = %s' % avg_time


t0 = time.time()
for i in range(100):
    test_code_sum(5)
t1 = time.time()

avg_time = (t1-t0)/100

print "average sum method time = %s" % avg_time

平均列表方法时间 = 0.0391882109642

平均总和方法时间 = 0.0418473792076

因此,以这种方式计算 n=5 个顶点上的图形数量,列表方法会稍微快一些(尽管 100 次测试运行并不是一个好的样本量)。但是,当我通过尝试 n=7 个顶点上的图形来增加计算列表的长度时(即,将 graphs(5) 更改为 graphs(7)),结果如下:

平均列表方法时间 = 4.14753051996

平均总和方法时间 = 3.96504004002

在这种情况下,求和方法稍快一些。总而言之,这两种方法的速度大致相同,但差异可能取决于列表的长度(也可能只是因为我只对 100 次测试运行进行了平均,这个数字不是很高——否则会花很长时间)。

相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1590  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1361  
  信创产品在政府采购中的占比分析随着信息技术的飞速发展以及国家对信息安全重视程度的不断提高,信创产业应运而生并迅速崛起。信创,即信息技术应用创新,旨在实现信息技术领域的自主可控,减少对国外技术的依赖,保障国家信息安全。政府采购作为推动信创产业发展的重要力量,其对信创产品的采购占比情况备受关注。这不仅关系到信创产业的发展前...
信创和国产化的区别   18  
  信创,即信息技术应用创新产业,旨在实现信息技术领域的自主可控,摆脱对国外技术的依赖。近年来,国货国用信创发展势头迅猛,在诸多领域取得了显著成果。这一发展趋势对科技创新产生了深远的推动作用,不仅提升了我国在信息技术领域的自主创新能力,还为经济社会的数字化转型提供了坚实支撑。信创推动核心技术突破信创产业的发展促使企业和科研...
信创工作   18  
  信创技术,即信息技术应用创新产业,旨在实现信息技术领域的自主可控与安全可靠。近年来,信创技术发展迅猛,对中小企业产生了深远的影响,带来了诸多不可忽视的价值。在数字化转型的浪潮中,中小企业面临着激烈的市场竞争和复杂多变的环境,信创技术的出现为它们提供了新的发展机遇和支撑。信创技术对中小企业的影响技术架构变革信创技术促使中...
信创国产化   19  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用