Python Pandalar: Agrega kullanma yeni sütunlar

Question

varsayalım bir dataframe şöyle var tanımlamak için uygula vs:

n = 20 
dim1 = np.random.randint(1, 3, size=n) 
dim2 = np.random.randint(3, 5, size=n) 
data1 = np.random.randint(10, 20, size=n) 
data2 = np.random.randint(1, 10, size=n) 
df = pd.DataFrame({'a': dim1, 'b': dim2 ,'val1': data1, 'val2': data2}) 

Ben grup akıllıca döndüren bir işlev tanımlarsanız: teker

def h(x): 
    if x['val2'].sum() == 0: 
     return 0 
    else: 
     return (x['val1'].sum())*1.0/x['val2'].sum()*1.0 

Gruplamasını sütunların ve döndürür bir sonuç toplayarak:

df.groupby(['a']).aggregate(h)['val1'] 

o d mevcut tüm sütunları dönüştürür Gerçi iki sütun tarafından yeni bir sütun

Gruplama eklemek yerine sonuç esired agrega kullanırken bir hata ile sonuçlanır:

df.groupby(['a','b']).aggregate(h)['val1'] 

KeyError: 'val2' 

Ama iş gibi görünüyor uygulamak için agrega anahtarlama.

1. Neden çalışmalarını uygulamak ve aggregte değildir:

   iki soru var?

2. Bir veri kümesini bir grup anahtarla grupladıktan sonra, grup değerlerini yeni bir sütun olarak birleştiren bir işlev kullanmak isterim, bunu yapmanın en iyi yolu nedir?

Şimdiden teşekkürler.

Answer 1

Biraz geri adım atmak için, bu özel "toplama" işleminin daha hızlı bir yolu sum (it's optimised in cython)'u birkaç kez kullanmaktır.

In [11]: %timeit g.apply(h) 
1000 loops, best of 3: 1.79 ms per loop 

In [12]: %timeit g['val1'].sum()/g['val2'].sum() 
1000 loops, best of 3: 600 µs per loop 

IMO GroupBy kodu oldukça kıllı ve genellikle tembel "kara kutu" olarak hangi değerleri listesini oluşturarak, neler olup bittiğini de gözetleme görüyor:

def h1(x): 
    a.append(x) 
    return h(x) 
a = [] 

Uyarı: bazen tipi Bu listede yer alan veriler tutarlı değildir (pandalar, herhangi bir hesaplama yapmadan önce birkaç farklı şeyi dener).

ikinci toplanma her sütun uygulanması takılıp, bu nedenle (bir hata yükseltir) grubu olur:

0  10 
4  16 
8  13 
9  17 
17 17 
19 11 
Name: val1, dtype: int64 

Bu VAL1 kolonu (a, b) = arasında seriye, makine türüne (olup 1, 3). Bu belki de başka bir şey denemek olabilir yükseltir sonra

Bu de bir hata olabilir ... ilgilenenler için

(benim şüphe bu ilkler versiyonu neden çalıştığını, bu kadar kasalı özel olan olmasıdır) Ben olsun a geçerli:

In [21]: a 
Out[21]: 
[SNDArray([125755456, 131767536,  13,  17,  17,  11]), 
Series([], name: val1, dtype: int64), 
0  10 
4  16 
8  13 
9  17 
17 17 
19 11 
Name: val1, dtype: int64] 

Ben SNDArray ne hakkında olduğunu hiçbir fikri ...