Yeni bir CitusDB örneğine veri yüklemenin en hızlı yolu nedir?

Question

Bu komutla, Scaling Out Data Ingestion yönergeleri takip ediyorum:

find . -type f | xargs -n 1 -P 320 sh -c 'echo $0 `copy_to_distributed_table -C $0 table_name`' 

Benim küme master ve sekiz işçi, iki SSD'ler ile her sahiptir. Masa 320 parçaya yayılmıştır.

Veri yüklemesi çok uzun sürüyor. Ortalama ekleme oranı dakikada yaklaşık 750 bin gibi görünmektedir. Bu normal mi yoksa hızlandırmanın bir yolu var mı?

Düşünebildiğim tek şey, çoğaltma işleminin etkinleştirildiğidir. Yükleme için kapatılmalı ve sıfırlanmalı mı?

Answer 1

Karma bölümleme kullanmak istediğinizi varsayalım. Bu durumda, dağıtılmış COPY lehine copy_to_distributed_table kullanımdan muaf tutuyoruz. COPY, yerel bir PostgreSQL deneyimi sağlar, bilinen bazı sorunları giderir ve , performansı en fazla boyutundan daha fazla artırır. Bu şimdi was released this month olan ve the official PostgreSQL Linux package repositories (PGDG) adresinde bulunan Citus 5.1'den itibaren kullanılabilir.