如何计算两个文本文档之间的相似度？
- 2025-01-21 09:01:00
- admin 原创
- 82
问题描述：
我正在考虑从事 NLP 项目，可以使用任何编程语言（但我更喜欢 Python）。
我想要获取两份文档并确定它们有多相似。
解决方案 1：
常见的做法是将文档转换为 TF-IDF 向量，然后计算它们之间的余弦相似度。任何关于信息检索 (IR) 的教科书都会介绍这一点。请参阅《信息检索简介》 ，它是免费的，可在线获取。
计算成对相似度
TF-IDF（以及类似的文本转换）在 Python 包Gensim和scikit-learn中实现。在后者包中，计算余弦相似度非常简单
from sklearn.feature_extraction.text import TfidfVectorizer
documents = [open(f).read() for f in text_files]
tfidf = TfidfVectorizer().fit_transform(documents)
# no need to normalize, since Vectorizer will return normalized tf-idf
pairwise_similarity = tfidf * tfidf.T
或者，如果文档是纯字符串，
>>> corpus = ["I'd like an apple",
... "An apple a day keeps the doctor away",
... "Never compare an apple to an orange",
... "I prefer scikit-learn to Orange",
... "The scikit-learn docs are Orange and Blue"]
>>> vect = TfidfVectorizer(min_df=1, stop_words="english")
>>> tfidf = vect.fit_transform(corpus)
>>> pairwise_similarity = tfidf * tfidf.T
但 Gensim 可能对这类任务有更多的选择。
另请参阅此问题。
[免责声明：我参与了 scikit-learn TF-IDF 的实施。]
解释结果
从上图可以看出，是一个方形的pairwise_similarityScipy稀疏矩阵，其行数和列数等于语料库中的文档数。
>>> pairwise_similarity
<5x5 sparse matrix of type '<class 'numpy.float64'>'
with 17 stored elements in Compressed Sparse Row format>
.toarray()您可以通过或将稀疏数组转换为 NumPy 数组.A：
>>> pairwise_similarity.toarray()
array([[1. , 0.17668795, 0.27056873, 0. , 0. ],
[0.17668795, 1. , 0.15439436, 0. , 0. ],
[0.27056873, 0.15439436, 1. , 0.19635649, 0.16815247],
[0. , 0. , 0.19635649, 1. , 0.54499756],
[0. , 0. , 0.16815247, 0.54499756, 1. ]])
假设我们想要找到与最终文档“scikit-learn 文档为橙色和蓝色”最相似的文档。此文档在 中的索引为 4。corpus您可以通过获取该行的 argmax 来找到最相似文档的索引，但首先您需要屏蔽 1，这表示每个文档与自身的相似性。您可以通过 执行后者np.fill_diagonal()，通过 执行前者np.nanargmax()：
>>> import numpy as np
>>> arr = pairwise_similarity.toarray()
>>> np.fill_diagonal(arr, np.nan)
>>> input_doc = "The scikit-learn docs are Orange and Blue"
>>> input_idx = corpus.index(input_doc)
>>> input_idx
4
>>> result_idx = np.nanargmax(arr[input_idx])
>>> corpus[result_idx]
'I prefer scikit-learn to Orange'
注意：使用稀疏矩阵的目的是为大型语料库和词汇表节省（大量空间）。您可以执行以下操作，而不是转换为 NumPy 数组：
>>> n, _ = pairwise_similarity.shape
>>> pairwise_similarity[np.arange(n), np.arange(n)] = -1.0
>>> pairwise_similarity[input_idx].argmax()
3
解决方案 2：
与@larsman 相同，但进行了一些预处理
import nltk, string
from sklearn.feature_extraction.text import TfidfVectorizer
nltk.download('punkt') # if necessary...
stemmer = nltk.stem.porter.PorterStemmer()
remove_punctuation_map = dict((ord(char), None) for char in string.punctuation)
def stem_tokens(tokens):
return [stemmer.stem(item) for item in tokens]
'''remove punctuation, lowercase, stem'''
def normalize(text):
return stem_tokens(nltk.word_tokenize(text.lower().translate(remove_punctuation_map)))
vectorizer = TfidfVectorizer(tokenizer=normalize, stop_words='english')
def cosine_sim(text1, text2):
tfidf = vectorizer.fit_transform([text1, text2])
return ((tfidf * tfidf.T).A)[0,1]
print cosine_sim('a little bird', 'a little bird')
print cosine_sim('a little bird', 'a little bird chirps')
print cosine_sim('a little bird', 'a big dog barks')
解决方案 3：
这是一个老问题，但我发现使用Spacy可以轻松完成此操作。读取文档后，similarity可以使用一个简单的 api 来查找文档向量之间的余弦相似度。
首先安装包并下载模型：
pip install spacy
python -m spacy download en_core_web_sm
然后像这样使用：
import spacy
nlp = spacy.load('en_core_web_sm')
doc1 = nlp(u'Hello hi there!')
doc2 = nlp(u'Hello hi there!')
doc3 = nlp(u'Hey whatsup?')
print (doc1.similarity(doc2)) # 0.999999954642
print (doc2.similarity(doc3)) # 0.699032527716
print (doc1.similarity(doc3)) # 0.699032527716
解决方案 4：
如果您正在寻找非常准确的东西，您需要使用比 tf-idf 更好的工具。通用句子编码器是查找任何两段文本之间相似性的最准确工具之一。Google 提供了预训练模型，您可以将其用于自己的应用程序，而无需从头开始训练任何东西。首先，您必须安装 tensorflow 和 tensorflow-hub：
pip install tensorflow
pip install tensorflow_hub
下面的代码可以将任何文本转换为固定长度的向量表示，然后可以使用点积来找出它们之间的相似性
import tensorflow_hub as hub
module_url = "https://tfhub.dev/google/universal-sentence-encoder/1?tf-hub-format=compressed"
# Import the Universal Sentence Encoder's TF Hub module
embed = hub.Module(module_url)
# sample text
messages = [
# Smartphones
"My phone is not good.",
"Your cellphone looks great.",
# Weather
"Will it snow tomorrow?",
"Recently a lot of hurricanes have hit the US",
# Food and health
"An apple a day, keeps the doctors away",
"Eating strawberries is healthy",
]
similarity_input_placeholder = tf.placeholder(tf.string, shape=(None))
similarity_message_encodings = embed(similarity_input_placeholder)
with tf.Session() as session:
session.run(tf.global_variables_initializer())
session.run(tf.tables_initializer())
message_embeddings_ = session.run(similarity_message_encodings, feed_dict={similarity_input_placeholder: messages})
corr = np.inner(message_embeddings_, message_embeddings_)
print(corr)
heatmap(messages, messages, corr)
以及绘图代码：
def heatmap(x_labels, y_labels, values):
fig, ax = plt.subplots()
im = ax.imshow(values)
# We want to show all ticks...
ax.set_xticks(np.arange(len(x_labels)))
ax.set_yticks(np.arange(len(y_labels)))
# ... and label them with the respective list entries
ax.set_xticklabels(x_labels)
ax.set_yticklabels(y_labels)
# Rotate the tick labels and set their alignment.
plt.setp(ax.get_xticklabels(), rotation=45, ha="right", fontsize=10,
rotation_mode="anchor")
# Loop over data dimensions and create text annotations.
for i in range(len(y_labels)):
for j in range(len(x_labels)):
text = ax.text(j, i, "%.2f"%values[i, j],
ha="center", va="center", color="w",
fontsize=6)
fig.tight_layout()
plt.show()
结果是：
正如你所看到的，最相似的是文本本身之间的相似性，其次是文本与意义相近的文本之间的相似性。
重要提示：第一次运行代码时速度会很慢，因为它需要下载模型。如果您想防止它再次下载模型并使用本地模型，您必须创建一个缓存文件夹并将其添加到环境变量中，然后在第一次运行后使用该路径：
tf_hub_cache_dir = "universal_encoder_cached/"
os.environ["TFHUB_CACHE_DIR"] = tf_hub_cache_dir
# pointing to the folder inside cache dir, it will be unique on your system
module_url = tf_hub_cache_dir+"/d8fbeb5c580e50f975ef73e80bebba9654228449/"
embed = hub.Module(module_url)
更多信息：https ://tfhub.dev/google/universal-sentence-encoder/2
解决方案 5：
通常，两个文档之间的余弦相似度被用作文档的相似度度量。在 Java 中，您可以使用Lucene（如果您的集合非常大）或LingPipe来执行此操作。基本概念是计算每个文档中的术语并计算术语向量的点积。这些库确实提供了对这种通用方法的几项改进，例如使用逆文档频率和计算 tf-idf 向量。如果您想做一些复杂的操作，LingPipe 还提供了计算文档之间 LSA 相似度的方法，这比余弦相似度给出更好的结果。对于 Python，您可以使用NLTK。
解决方案 6：
对于句法相似性，有 3 种简单的方法来检测相似性。
Word2Vec
手套
Tfidf 或 countvectorizer
对于语义相似性，可以使用 BERT 嵌入并尝试不同的词池策略来获取文档嵌入，然后在文档嵌入上应用余弦相似性。
一种先进的方法可以使用 BERT SCORE 来获得相似度。 
研究论文链接：https ://arxiv.org/abs/1904.09675
解决方案 7：
为了用很少的数据集找到句子相似度并获得高精度，你可以使用下面的python包，该包使用了预先训练的BERT模型，
pip install similar-sentences
解决方案 8：
这是一个可以帮助您入门的小应用程序...
import difflib as dl
a = file('file').read()
b = file('file1').read()
sim = dl.get_close_matches
s = 0
wa = a.split()
wb = b.split()
for i in wa:
if sim(i, wb):
s += 1
n = float(s) / float(len(wa))
print '%d%% similarity' % int(n * 100)
解决方案 9：
Simphile NLP文本相似性 Python 包的创建者。Simphile 包含几种文本相似性方法，这些方法与语言无关，并且比语言嵌入占用更少的 CPU 空间。
安装：
pip install simphile
选择您喜欢的方法。此示例显示了三种方法：
from simphile import jaccard_similarity, euclidian_similarity, compression_similarity
text_a = "I love dogs"
text_b = "I love cats"
print(f"Jaccard Similarity: {jaccard_similarity(text_a, text_b)}")
print(f"Euclidian Similarity: {euclidian_similarity(text_a, text_b)}")
print(f"Compression Similarity: {compression_similarity(text_a, text_b)}")
压缩相似性——利用压缩算法的模式识别
欧几里得相似度——将文本视为多维空间中的点，并计算它们的接近度
Jaccard Similairy – 文本中的单词重叠越多，文本就越相似
解决方案 10：
如果你对测量两段文本的语义相似度更感兴趣，我建议你看一下这个 gitlab 项目。你可以将它作为服务器运行，还有一个预先构建的模型，你可以轻松地使用它来测量两段文本的相似度；尽管它主要用于测量两个句子的相似度，但你仍然可以在你的案例中使用它。它是用 java 编写的，但你可以将它作为 RESTful 服务运行。
另一个选择是DKPro Similarity，它是一个具有多种算法的库，用于测量文本的相似度。但是，它也是用 Java 编写的。
代码示例：
// this similarity measure is defined in the dkpro.similarity.algorithms.lexical-asl package
// you need to add that to your .pom to make that example work
// there are some examples that should work out of the box in dkpro.similarity.example-gpl
TextSimilarityMeasure measure = new WordNGramJaccardMeasure(3); // Use word trigrams
String[] tokens1 = "This is a short example text .".split(" ");
String[] tokens2 = "A short example text could look like that .".split(" ");
double score = measure.getSimilarity(tokens1, tokens2);
System.out.println("Similarity: " + score);
解决方案 11：
我们可以使用 sentencetransformer 来完成这个
任务
以下是来自 sbert 的一个简单示例：
from sentence_transformers import SentenceTransformer, util
model = SentenceTransformer('all-MiniLM-L6-v2')
# Two lists of sentences
sentences1 = ['The cat sits outside']
sentences2 = ['The dog plays in the garden']
#Compute embedding for both lists
embeddings1 = model.encode(sentences1, convert_to_tensor=True)
embeddings2 = model.encode(sentences2, convert_to_tensor=True)
#Compute cosine-similarities
cosine_scores = util.cos_sim(embeddings1, embeddings2)
#Output the pairs with their score
for i in range(len(sentences1)):
print("{} {} Score: {:.4f}".format(sentences1[i],
sentences2[i], cosine_scores[i][i]))
解决方案 12：
您可能想尝试一下余弦文档相似度的在线服务http://www.scurtu.it/documentSimilarity.html
import urllib,urllib2
import json
API_URL="http://www.scurtu.it/apis/documentSimilarity"
inputDict={}
inputDict['doc1']='Document with some text'
inputDict['doc2']='Other document with some text'
params = urllib.urlencode(inputDict)
f = urllib2.urlopen(API_URL, params)
response= f.read()
responseObject=json.loads(response)
print responseObject
解决方案 13：
我正在结合@FredFoo 和@Renaud 的答案。我的解决方案是能够将@Renaud 的预处理应用于@FredFoo 的文本语料库，然后显示相似度大于 0 的成对相似度。我首先在 Windows 上安装 python 和 pip，然后运行此代码。pip 是作为 python 的一部分安装的，但您可能必须通过重新运行安装包、选择修改然后选择 pip 来明确执行此操作。我使用命令行执行保存在文件“similarity.py”中的 python 代码。我必须执行以下命令：
>set PYTHONPATH=%PYTHONPATH%;C:_location_of_python_lib_
>python -m pip install sklearn
>python -m pip install nltk
>py similarity.py
similarity.py的代码如下：
from sklearn.feature_extraction.text import TfidfVectorizer
import nltk, string
import numpy as np
nltk.download('punkt') # if necessary...
stemmer = nltk.stem.porter.PorterStemmer()
remove_punctuation_map = dict((ord(char), None) for char in string.punctuation)
def stem_tokens(tokens):
return [stemmer.stem(item) for item in tokens]
def normalize(text):
return stem_tokens(nltk.word_tokenize(text.lower().translate(remove_punctuation_map)))
corpus = ["I'd like an apple",
"An apple a day keeps the doctor away",
"Never compare an apple to an orange",
"I prefer scikit-learn to Orange",
"The scikit-learn docs are Orange and Blue"]
vect = TfidfVectorizer(tokenizer=normalize, stop_words='english')
tfidf = vect.fit_transform(corpus)
pairwise_similarity = tfidf * tfidf.T
#view the pairwise similarities
print(pairwise_similarity)
#check how a string is normalized
print(normalize("The scikit-learn docs are Orange and Blue"))
解决方案 14：
要计算两个文本文档之间的相似度，您可以使用 Gensim 库中的 Word2Vec 模型。此模型捕获单词之间的语义关系，并可用于计算句子之间的相似度。以下是您的代码以及一些说明：
from gensim.models import Word2Vec
from gensim.utils import simple_preprocess
import numpy as np
# Define the calculate_similarity function
def calculate_similarity(sentence1, sentence2):
# Tokenize the sentences
tokens1 = simple_preprocess(sentence1)
tokens2 = simple_preprocess(sentence2)
# Load or train a Word2Vec model
# Here, we'll create a simple model for demonstration purposes
sentences = [tokens1, tokens2]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, sg=0)
# Calculate the vector representation for each sentence
vector1 = np.mean([model.wv[token] for token in tokens1], axis=0)
vector2 = np.mean([model.wv[token] for token in tokens2], axis=0)
# Calculate cosine similarity
similarity = np.dot(vector1, vector2) / (np.linalg.norm(vector1) * np.linalg.norm(vector2))
return similarity
# Example usage
sentence1 = "This is the first document."
sentence2 = "This document is the second document."
similarity_score = calculate_similarity(sentence1, sentence2)
print("Similarity score:", similarity_score)
相关推荐
热门文章
项目管理软件有哪些？
热门标签
云禅道AD
