Benzer anlama veya anlambilime sahip ifadeleri eşleştirmek için NLP araçları hangi araçları kullanacak

Question

Benzer bir anahtar kelime kümesiyle bir ifadeyi veya anahtar kelimeyi eşleştirmem gereken bir proje üzerinde çalışıyorum. Aynı anlam için semantik analiz yapmam gerekiyor.

bir örnek:

İlgili QT
ucuz sağlık sigortası
uygun fiyatlı sağlık sigortası az
ucuz sağlık sigortası

Ortak Anlamı
düşük maliyetli sağlık sigortası
sağlık planı

Düşük maliyetli sağlık sigortası

Burada Ortak Anlamı sütunundaki sözcük, İlgili QT sütununun altında eşleşmelidir. Aynı şeyi yapmak için bir takım araçlara ve tekniklere baktım. S-Match çok umut verici görünüyordu, ama Java'da değil Python'da çalışmam gerekiyor. Ayrıca, Latent Semantic Analysis iyi görünüyor, ancak anahtar kelime eşlemesi yerine Anahtar Kelime'ye dayanan belge sınıflandırması için daha fazla olduğunu düşünüyorum. NLTK ile biraz tanıdık. Birisi hangi yöne doğru ilerlemem gerektiğini ve hangi araçların aynı şekilde kullanması gerektiğine dair bir fikir verebilir mi?

Answer 1

Wordnet.'a bir göz atabilirdim. Yüz binlerce terim için size gerçek eşanlamlı kelimeler ve diğer kelime ilişkileri sunacak. nltk'u etiketlediğinizden: Wordnet için bağlamalar sağlar ve bunu etki alanına özgü özümler için temel olarak kullanabilirsiniz. Yine NLTK içinde

, NLTK kitaba introduction yöntemin similar() tartışılmasını kontrol ve sınıf nltk.text.ContextIndex dayanıyor söyledi. (Hepsi oldukça basit, ama gerçekten ihtiyacınız olan her şey olabilir).

Answer 2

Eğer bu sözcüklerin ortaya çıktığı yerde, büyük bir cesaretiniz varsa, her kelimeyi vektör olarak temsil etmek için bir model eğitebilirsiniz. Örneğin, word2vec en aracılığı derin öğrenmeyi kullanabilirsiniz "ve CBOW modelleri-gram atla", onlar word2vec modelde gensim software package

uygulanır, her bir kelimenin bir vektör ile temsil edilir, daha sonra aralarında anlamsal benzerliği ölçebilir sözcükleri temsil eden vektörlerin kosinüsünü ölçerek iki kelime. Semantik benzeri kelimeler, örneğin, yüksek bir kosinüs benzerliğine sahip olmalıdır:

da

model.similarity('cheap','inexpensive') = 0.8 

(değer sadece gösterim amacıyla, oluşur.) Kelimelerin, nispeten az sayıda (toplanmasıyla zaman deneylerden yani, 3 ya da 4 kelime), örneğin, semantik korur. Yine

vector1 = model['cheap']+model['health']+model['insurance'] 
vector2 = model['low']+model['cost']+model['medical']+model['insurance'] 

similarity(vector1,vector2) = 0.7 

(sadece gösterim amacıyla)

Bu semantik benzerlik kullanabilir Kümelerinizi oluşturmak için bir ölçü olarak kelimeler arasında ölçün.

Answer 3

Latent Semantic Analysis bir "belgeye" başvurduğunda, temelde 1'den daha uzun olan herhangi bir kelime kümesi anlamına gelir. Bunu, bir belgeyle başka bir belge arasındaki, bir kelime ile başka bir sözcük arasındaki benzerliği hesaplamak için kullanabilirsiniz. veya bir kelime ve bir belge arasında. Yani seçtiğiniz uygulama için kesinlikle kullanabilirsiniz.yararlı olabilir

diğer algoritmalar şunlardır:

• Rastgele indeksleme (https://www.sics.se/~mange/papers/RI_intro.pdf) çok fazla zorluk çekmeden kendini uygulamak için yeterli kolaydır. Ayrıca https://code.google.com/p/airhead-research/ içinde bir uygulama var, ancak Java'da değil, Python'da.
• Konu modelleme (http://psiexp.ss.uci.edu/research/papers/SteyversGriffithsLSABookFormatted.pdf) - https://github.com/mike-lawrence/wikiBEAGLE