Sütunların bir alt kümesinde Pig Latince DISTINCT nasıl gerçekleştirilir?

Question

Sütunların bir alt kümesinde DISTINCT işlemi gerçekleştirmek istiyorum. documentation bu iç içe geçmiş bir foreach ile ulaşılabileceğini söyledi:

Sen alanların bir alt kümesi üzerinde DISTINCT kullanamazsınız; Bunu yapmak için, FOREACH ve yuvalanmış bir bloğu ilk önce alanları seçin ve sonra DISTINCT'ı uygulayın (Örnek: İç içe geçmiş blok).

sütunların tümü üzerinde DISTINCT işlemi gerçekleştirmek için basittir:

A = LOAD 'data' AS (a1,a2,a3,a4); 
A_unique = DISTINCT A; 

ben a1, a2 ve a3 genelinde farklı performans ilgileniyorum olduğunu düşünelim. Bu işlemin, belgelerde önerildiği gibi yuvalanmış bir foreach ile nasıl gerçekleştirileceğini gösteren bir örnek sağlanabilir mi?

İşte bir girişin örneği ve beklenen çıkışı var: Burada

A = LOAD 'data' AS(a1,a2,a3,a4); 
DUMP A; 

(1 2 3 4) 
(1 2 3 4) 
(1 2 3 5) 
(1 2 4 4) 

-- insert DISTINCT operation on a1,a2,a3 here: 
-- ... 

DUMP A_unique; 

(1 2 3 4) 
(1 2 4 4) 

Answer 1

Grup, bir torbaya ilgi projesi sadece sütunlar, ve sonra onları tekrar genişletmek için FLATTEN kullanın:

A_unique = 
    FOREACH (GROUP A BY a4) { 
     b = A.(a1,a2,a3); 
     s = DISTINCT b; 
     GENERATE FLATTEN(s), group AS a4; 
    }; 

Answer 2

2 olası çözümler aşağıda başka iyi yaklaşım vardır?

Çözüm 1 (SINIRLAMASINI 1 kullanarak):

A = LOAD 'test_data' AS (a1,a2,a3,a4); 

-- Combine the columns that I want to perform the distinct across into a tuple 
A2 = FOREACH A GENERATE TOTUPLE(a1,a2,a3) AS combined, a4 as a4 

-- Group by the combined column 
grouped_by_a4 = GROUP A2 BY combined; 

grouped_and_distinct = FOREACH grouped_by_a4 { 
     single = LIMIT A2 1; 
     GENERATE FLATTEN(single); 
}; 

Çözüm 2 (DISTINCT kullanarak):

tüm diğer sütunları

A = LOAD 'test_data' AS (a1,a2,a3,a4); 

-- Combine the columns that I want to perform the distinct across into a tuple 
A2 = FOREACH A GENERATE TOTUPLE(a1,a2,a3) AS combined, a4 as a4 

-- Group by the other columns (those I don't want the distinct applied to) 
grouped_by_a4 = GROUP A2 BY a4; 

-- Perform the distinct on a projection of combined and flatten 
grouped_and_distinct = FOREACH grouped_by_a4 { 
     combined_unique = DISTINCT A2.combined; 
     GENERATE FLATTEN(combined_unique); 
}; 

Answer 3

belirttiğiniz için giriş/çıkış, aşağıdaki işler. İhtiyacınız olanı bundan daha farklı kılmak için test vektörlerinizi güncelleyebilirsiniz.

A_unique = DISTINCT A; 

Answer 4

kabul cevap durumda bu işe yaramayabilir (Geçenlerde yapmak zorunda şey) çıktıda alanları yeniden sıralamak istiyorum, insana büyük bir çözümdür ama. İşte bir alternatiftir:

A = LOAD '$input' AS (f1, f2, f3, f4, f5); 
GP = GROUP A BY (f1, f2, f3); 
OUTPUT = FOREACH GP GENERATE 
    group.f1, group.f2, f4, f5, group.f3 ; 

belirli alanlarda grup, seçim bir her demet içinde grup için benzersiz değerleri nereden bulacağım.

Answer 5

unique_A = FOREACH (GROUP A BY (a1, a2, a3)) { 
    limit_a = LIMIT A 1; 
    GENERATE FLATTEN(limit_a) AS (a1,a2,a3,a4); 
};