Kukla oluşturma Şu anda scikit boru hatlarını öğrenmek keşfetmeye çalışıyorum

Question

ayarlayın. Ayrıca verileri bir boru hattı ile önceden işlemek istiyorum. Ancak benim tren ve test verileri kategorik değişkenin farklı seviyeleri var. Örnek: göz önünde bulundurun:

import pandas as pd 
train = pd.Series(list('abbaa')) 
test = pd.Series(list('abcd')) 

I2 sütun tren verileri ve test verileri 4 sütun için panda

class CreateDummies(TransformerMixin): 

def transform(self, X, **transformparams): 
    return pd.get_dummies(X).copy() 

def fit(self, X, y=None, **fitparams): 
    return self 

fit_transform verimleri kullanarak TransformerMixinClass yazdım. Yani burada bir sürpriz, ama bir boru hattı

Similary için uygun değildir, ben (potansiyel sonraki adımlar için ve OneHotEncoder) etiketi kodlayıcı içe çalıştık:

from sklearn.preprocessing import LabelEncoder, OneHotEncoder 
le = LabelEncoder() 
le.fit_transform(train) 
le.transform(test) 

hangi verimleri, şaşırtıcı olmayan bir hata.

Yani burada sorun ben test kümesi bulunan bazı bilgilere ihtiyaç vardır. bir boru hattında bu eklemek iyi bir yolu var mı?

Answer 1

this answer açıklandığı gibi categoricals kullanabilirsiniz:

categories = np.union1d(train, test) 
train = train.astype('category', categories=categories) 
test = test.astype('category', categories=categories) 

pd.get_dummies(train) 
Out: 
    a b c d 
0 1 0 0 0 
1 0 1 0 0 
2 0 1 0 0 
3 1 0 0 0 
4 1 0 0 0 

pd.get_dummies(test) 
Out: 
    a b c d 
0 1 0 0 0 
1 0 1 0 0 
2 0 0 1 0 
3 0 0 0 1