NLTK

Question

kullanarak OCR'den aralıksız sözcükleri Tokizeing PDF dosyalarından alınan bazı metinleri işlemek için NLTK kullanıyorum. Metni çoğunlukla bozulmadan kurtarabilirim, ancak sözcükler arasındaki boşlukların yakalanmadığı birçok örnek var, bu yüzden if I yerine ifI veya that position yerine thatposition veya and he's yerine andhe's gibi sözcükler alıyorum.

Sorum şu: Bu, tanımadığı/öğrenmediği sözcükleri aramak için NLTK'yi nasıl kullanabilir ve oluşması daha olası olan "yakın" sözcük kombinasyonlarının olup olmadığını görebilir miyim? Bu tür kontrolleri uygulamak için, tanınmayan kelimeyi, her seferinde bir karakteri, bölmeyi ve iki tanınabilir sözün bulunup bulunmadığını görmekten daha zarif bir yolu var mı?

Answer 1

Bu tür bir sorun için daha sağlam bir çözüm olduğundan, bunun yerine pyenchant kullanmayı düşünmenizi öneririm. Pycenhant here'u indirebilirsiniz. Aşağıda, sonuçları yükledikten sonra nasıl elde edeceğinize dair bir örnek verilmiştir:

>>> text = "IfI am inthat position, Idon't think I will." # note the lack of spaces 
>>> from enchant.checker import SpellChecker 
>>> checker = SpellChecker("en_US") 
>>> checker.set_text(text) 
>>> for error in checker: 
    for suggestion in error.suggest(): 
     if error.word.replace(' ', '') == suggestion.replace(' ', ''): # make sure the suggestion has exact same characters as error in the same order as error and without considering spaces 
      error.replace(suggestion) 
      break 
>>> checker.get_text() 
"If I am in that position, I don't think I will." # text is now fixed