Python NLTK hizalama modelleri daha sonra kullanmak üzere nasıl kaydedilir?

Question

Python'da paralel metinler arasında sözcük hizalamaları oluşturmak için NLTK's alignment module kullanıyorum. Bifekslerin hizalanması özellikle hatırı sayılır bir korpora göre yapıldığında zaman alıcı bir süreç olabilir. Bir günde toplu olarak hizalamalar yapmak ve bu hizalamaları daha sonra kullanmak güzel olurdu. Bir model oluşturmak kez

from nltk import IBMModel1 as ibm 
biverses = [list of AlignedSent objects] 
model = ibm(biverses, 20) 

with open(path + "eng-taq_model.txt", 'w') as f: 
    f.write(model.train(biverses, 20)) // makes empty file 

, nasıl (1) diske ve (2) daha sonra yeniden kaydedebilirsiniz?

Answer 1

hemen cevap, bunu turşu https://wiki.python.org/moin/UsingPickle

görmektir Ama IBMModel1 bir lambda işlevini döndürür, bunun nedeni pickle/cPickle biz

Yani (https://github.com/nltk/nltk/blob/develop/nltk/align/ibm1.py#L74 ve https://github.com/nltk/nltk/blob/develop/nltk/align/ibm1.py#L104 bakınız) varsayılan ile turşu mümkün değildir dill kullanın. Öncelikle, dill yükleme bölümüne bakın Sonra Can Python pickle lambda functions?

$ pip install dill 
$ python 
>>> import dill as pickle 

: Bir olan IBMModel1 nesne, turşu çalışırsanız

>>> import dill as pickle 
>>> from nltk.corpus import comtrans 
>>> bitexts = comtrans.aligned_sents()[:100] 
>>> with open('model1.pk', 'rb') as fin: 
...  ibm = pickle.load(fin) 
... 
>>> aligned_sent = ibm.align(bitexts[0]) 
>>> aligned_sent.words 
['Wiederaufnahme', 'der', 'Sitzungsperiode'] 

---

:

>>> import dill 
>>> import dill as pickle 
>>> from nltk.corpus import comtrans 
>>> from nltk.align import IBMModel1 
>>> bitexts = comtrans.aligned_sents()[:100] 
>>> ibm = IBMModel1(bitexts, 20) 
>>> with open('model1.pk', 'wb') as fout: 
...  pickle.dump(ibm, fout) 
... 
>>> exit() 

turşusu modeli kullanmak için lambda işlevi, bu ile biter:

>>> import cPickle as pickle 
>>> from nltk.corpus import comtrans 
>>> from nltk.align import IBMModel1 
>>> bitexts = comtrans.aligned_sents()[:100] 
>>> ibm = IBMModel1(bitexts, 20) 
>>> with open('model1.pk', 'wb') as fout: 
...  pickle.dump(ibm, fout) 
... 
Traceback (most recent call last): 
    File "<stdin>", line 2, in <module> 
    File "/usr/lib/python2.7/copy_reg.py", line 70, in _reduce_ex 
    raise TypeError, "can't pickle %s objects" % base.__name__ 
TypeError: can't pickle function objects 

(Not: Yukarıdaki kod parçası 3.0.0 NLTK sürümü geliyor):

IBMModel1 bir lambda fonksiyonu döndürdüğü için NLTK 3.0.0 ile python3 olarak

, ayrıca aynı sorunla karşı karşıya gelecek

alvas@ubi:~$ python3 
Python 3.4.0 (default, Apr 11 2014, 13:05:11) 
[GCC 4.8.2] on linux 
Type "help", "copyright", "credits" or "license" for more information. 
>>> import pickle 
>>> from nltk.corpus import comtrans 
>>> from nltk.align import IBMModel1 
>>> bitexts = comtrans.aligned_sents()[:100] 
>>> ibm = IBMModel1(bitexts, 20) 
>>> with open('mode1.pk', 'wb') as fout: 
...  pickle.dump(ibm, fout) 
... 
Traceback (most recent call last): 
    File "<stdin>", line 2, in <module> 
_pickle.PicklingError: Can't pickle <function IBMModel1.train.<locals>.<lambda> at 0x7fa37cf9d620>: attribute lookup <lambda> on nltk.align.ibm1 failed' 

>>> import dill 
>>> with open('model1.pk', 'wb') as fout: 
...  dill.dump(ibm, fout) 
... 
>>> exit() 

alvas@ubi:~$ python3 
Python 3.4.0 (default, Apr 11 2014, 13:05:11) 
[GCC 4.8.2] on linux 
Type "help", "copyright", "credits" or "license" for more information. 
>>> import dill 
>>> from nltk.corpus import comtrans 
>>> with open('model1.pk', 'rb') as fin: 
...  ibm = dill.load(fin) 
... 
>>> bitexts = comtrans.aligned_sents()[:100] 
>>> aligned_sent = ibm.aligned(bitexts[0]) 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
AttributeError: 'IBMModel1' object has no attribute 'aligned' 
>>> aligned_sent = ibm.align(bitexts[0]) 
>>> aligned_sent.words 
['Wiederaufnahme', 'der', 'Sitzungsperiode'] 

(Not: http://docs.pythonsprints.com/python3_porting/py-porting.html bkz python3 olarak, picklecPickle olan) Sen hizalama modeli tasarrufu tartıştılar

Answer 2

ancak soru hakkında daha fazla gibi görünüyor Hizaladığınız hizalanmış bitex'leri kaydetme: "Bir günde toplu olarak hizalamaları yapmak ve bu hizalamaları daha sonra kullanmak güzel olurdu." Bu soruya cevap vereceğim.

nltk ortamında, corpus benzeri bir kaynak kullanmanın en iyi yolu, bir corpus okuyucusu ile erişmek. NLTK tutuklama açısından yazarlar gelmiyor ama NLTK en AlignedCorpusReader tarafından desteklenen biçim üretmek çok kolaydır: (NLTK 3 versiyonu) bu kadar

model = ibm(biverses, 20) # As in your question 

out = open("folder/newalignedtext.txt", "w") 
for pair in biverses: 
    asent = model.align(pair) 
    out.write(" ".join(asent.words)+"\n") 
    out.write(" ".join(asent.mots)+"\n") 
    out.write(str(asent.alignment)+"\n") 

out.close() 

. Daha sonra yeniden ve comtrans veritabanını kullandık istesem de tam olarak hizalanmış cümleler kullanabilirsiniz: Gördüğünüz gibi, hizalama nesnenin kendisini gerekmez

from nltk.corpus.reader import AlignedCorpusReader 

mycorpus = AlignedCorpusReader(r"folder", r".*\.txt") 
biverses_reloaded = mycorpus.aligned_sents() 

. Hizalanmış cümleler, gömülü olasılıkları incelemek istemediğiniz sürece bir corpus okuyucu, ile yüklenebilir ve aligner'ın kendisi oldukça yararsızdır.

Yorum: Hizalayıcı nesnesini bir "model" olarak çağıracağımdan emin değilim. NLTK 2'de, hizalayıcı yeni metni hizalayacak şekilde ayarlanmamıştır - bir align() yöntemine bile sahip değildir. NLTK 3'te align() işlevi yeni metni hizalayabilir ancak yalnızca python 2'den kullanılıyorsa; Python 3'teki, görünüşe göre farklı türlerdeki nesneleri karşılaştırmak için sıkılaştırılmış kurallardan dolayı kırılmıştır. Yine de hizalayıcıyı seçip yeniden yüklemek istediğinizde, cevabımıma ekleyeceğim; Gördüğüm şeyden vanilya cPickle ile yapılabilir.

Answer 3

istediğiniz ve bu, bir AlignedSent listesi olarak saklayabilirsiniz gibi görünüyor eğer: Ben

with open('alignedtext.pk', 'wb') as arquive: 
    pickle.dump(biverses, arquive)