在 python 中读取文本文件并将其拆分为单个单词

问题描述：

我有这个由数字和单词组成的文本文件，例如像这样 -09807754 18 n 03 aristocrat 0 blue_blood 0 patrician我想将其拆分，以便每个单词或数字都作为新行出现。

空格分隔符是理想的，因为我想让带有破折号的单词保持连接。

这是我目前所拥有的：

f = open('words.txt', 'r')
for word in f:
    print(word)

不太确定从这里开始该怎么做，我希望这是输出：

09807754
18
n
3
aristocrat
...

解决方案 1：

鉴于此文件：

$ cat words.txt
line1 word1 word2
line2 word3 word4
line3 word5 word6

如果您一次只想获取一个单词（忽略文件中空格和换行符的含义）：

with open('words.txt','r') as f:
    for line in f:
        for word in line.split():
           print(word)    

印刷：

line1
word1
word2
line2
...
word6 

类似地，如果您想将文件扁平化为文件中的单个扁平单词列表，您可以执行以下操作：

with open('words.txt') as f:
    flat_list=[word for line in f for word in line.split()]

>>> flat_list
['line1', 'word1', 'word2', 'line2', 'word3', 'word4', 'line3', 'word5', 'word6']

它能创建与第一个例子相同的输出`print '
'.join(flat_list)`......

或者，如果您想要文件每一行中单词的嵌套列表（例如，从文件中创建行和列的矩阵）：

with open('words.txt') as f:
    matrix=[line.split() for line in f]

>>> matrix
[['line1', 'word1', 'word2'], ['line2', 'word3', 'word4'], ['line3', 'word5', 'word6']]

如果您想要一个正则表达式解决方案，它将允许您过滤示例文件中的单词wordN与类型：lineN

import re
with open("words.txt") as f:
    for line in f:
        for word in re.findall(r'wordd+', line):
            # wordN by wordN with no lineN

或者，如果您希望使用正则表达式逐行生成器：

 with open("words.txt") as f:
     (word for line in f for word in re.findall(r'w+', line))

解决方案 2：

f = open('words.txt')
for word in f.read().split():
    print(word)

解决方案 3：

作为补充，如果你正在读取一个非常大的文件，并且你不想一次将所有内容读入内存，你可以考虑使用缓冲区，然后通过yield返回每个单词：

def read_words(inputfile):
    with open(inputfile, 'r') as f:
        while True:
            buf = f.read(10240)
            if not buf:
                break

            # make sure we end on a space (word boundary)
            while not str.isspace(buf[-1]):
                ch = f.read(1)
                if not ch:
                    break
                buf += ch

            words = buf.split()
            for word in words:
                yield word
        yield '' #handle the scene that the file is empty

if __name__ == "__main__":
    for word in read_words('./very_large_file.txt'):
        process(word)

解决方案 4：

你可以使用 nltk 来标记单词，然后将所有单词存储在列表中，这就是我所做的。如果你不了解 nltk；它代表自然语言工具包，用于处理自然语言。如果你想开始，这里有一些资源 [ http://www.nltk.org/book/]

import nltk 
from nltk.tokenize import word_tokenize 
file = open("abc.txt",newline='')
result = file.read()
words = word_tokenize(result)
for i in words:
       print(i)

输出将是这样的：

09807754
18
n
03
aristocrat
0
blue_blood
0
patrician

解决方案 5：

with open(filename) as file:
    words = file.read().split()

这是文件中所有单词的列表。

import re
with open(filename) as file:
    words = re.findall(r"([a-zA-Z-]+)", file.read())

解决方案 6：

以下是我完全实用的方法，可以避免读取和拆分行。它利用了itertools模块：

注意对于 Python 3，请替换itertools.imap为map

import itertools

def readwords(mfile):
    byte_stream = itertools.groupby(
        itertools.takewhile(lambda c: bool(c),
            itertools.imap(mfile.read,
                itertools.repeat(1))), str.isspace)

    return ("".join(group) for pred, group in byte_stream if not pred)

使用示例：

>>> import sys
>>> for w in readwords(sys.stdin):
...     print (w)
... 
I really love this new method of reading words in python
I
really
love
this
new
method
of
reading
words
in
python
           
It's soo very Functional!
It's
soo
very
Functional!
>>>

我想，就你的情况而言，这将是使用该函数的方式：

with open('words.txt', 'r') as f:
    for word in readwords(f):
        print(word)