Kafka Bellek gereksinimi

Question

Ben bir acemi Biz işleme 17.000 olayları/600bytes büyüklüğüne her olayla sn bizim kafka küme (5 düğüm küme) boyutlandırma aradığınız

Kafka için duyuyorum. Bir hafta

için olayların 3 çoğaltma ve tutma planlıyoruz yüzden bu boyunca yazmak ne kafka dokümantasyon sayfasından

assuming you want to be able to buffer for 30 seconds and 
compute your memory need as write_throughput*30. 

okumak? onun saniyede MB sayısı ise - Ben 9960MB/Sec bakıyorum

if consider that as my write throughput then the memory calculates as 292GB(9960MB/Sec * 30) 

böylece bir düğüm veya tüm küme (5 düğümler) Gerçekten takdir ediyorum

için bellek gereksinimi 292GB neyi temsil edilir Bellek ve diskin boyutlandırılmasına ilişkin bazı bilgiler.

Selamlar VB

Answer 1

mesaj boyutu 600 bayt ile ise 17k Msg/s, daha sonra hacmi olacak ~ 10 MB/sn [17000 * 600/(* 1024 1024)]. Konuyu bölümlere ayırıyorsanız ve 5 aracıyı kullanıyorsanız, herhangi bir normal donanımda sorun olmaması gereken arabellek için 10/5 * 3 = 6MB/s olacak 3 kopya ile arabelleğe almanız gerekir. Tamponlama 30s, hafızanın 180MB anlamına gelir.

600 kB'lik bir ileti boyutu anlamına geldiyse, 6GB/s değerine ulaşmak için bol miktarda çok hızlı depolama alanı eklemeniz gerekecek ve aslında kümenin düğüm sayısını artırmak daha iyi olacaktır. yerine.