Kümeleme - mesafe matrisi üzerinden kümeleri, nasıl SciPy içinde kümelenme konusunda herhangi yeterince basit öğreticiler veya açıklamalarını bulmak için dikiş olamaz

Question

orijinal nesneleri geri almak için, bu yüzden sorunumu anlatmaya çalışacağım:

Belgeleri (hiyerarşik kümelenmiş kümeleme) kümelemeye çalışıyorum ve her belge için bir vektör oluşturup simetrik bir uzaklık matrisi oluşturdum. Vector_list, her belgeyi temsil eden (gerçekten uzun) vektörler içerir. Bu vektörler listesinin sırası, giriş belgelerinin listemdeki ile aynıdır, böylece kümelenme sonuçlarını ilgili belgeyle eşleştireceğim (umarım). diyagonal çizgi başına her belge mesafe (her zaman 0)

[0 5 4] 
[5 0 4] 
[5 4 0] 

I scipys' bağlantı() işlevi için bu mesafe matrisi besleme olduğu

distances = distance.cdist(vector_list, vector_list, 'euclidean') 

Bu, bu gibi bir matris verir.

clusters = hier.linkage(distances, method='centroid', metric='euclidean') 

bu ne olduğunu tam olarak emin değilim bir şey verir, ancak veri türü numpy.ndarray olarak çıkar. Dokümanlara göre, 'yassı kümelenmeler' elde etmek için bunu tekrar kümeleyerek besleyebilirim. Mesafe matrisindeki maksimum mesafenin yarısını eşik olarak kullanıyorum.

idx = hier.fcluster(clu,0.5*distances.max(), 'distance') 

Bu, bir daha bana anlam ifade etmeyen bir numpy.ndarray döndürür. Bir örnek [6 3 1 7 1 8 9 4 5 2]

Benim soru: o ne ben bağlantı ve fcluster fonksiyonları aldığım ve nasıl var ve geri gidebileceği anlamına İlk olarak mesafe matrisini oluşturduğum belgem, kümelerin herhangi bir anlam ifade edip etmediğini görmek için? Bunu doğru mu yapıyorum?

Answer 1

Öncelikle, sen fcluster yerine fclusterdata kullanırsanız cdist ve linkage ile tüm sürecinden geçmesi gerekmez; Bu işlev, bir (n_documents, n_features) dizi sayımı, tf-idf değerleri veya özellikleriniz ne olursa olsun besleyebilirsiniz.

fclusterdata çıkış fcluster arasında aynıdır: Bir dizi T örneğin "T[i]i ait orijinal gözlem düz küme sayısı olduğu" Yani, cluster.hierarchy modülü, kümeyi 0.5*distances.max() olarak ayarladığınız eşiğe göre düzleştirir. Durumunuzda, üçüncü ve beşinci belge birlikte kümelenir, ancak diğerlerinin tümü kendi kümelerini oluşturur, bu nedenle eşiği daha yüksek veya farklı bir criterion kullanarak ayarlamak isteyebilirsiniz.