Cluster Boyutlandırma: Kaç Node, Ne Kadar RAM, Ne Kadar Depolama?

Bir HPC cluster’ı tasarlamak, donanım kataloğuna bakıp “en iyisini alalım” demekten çok daha fazlasını gerektirir. Yetersiz boyutlandırılmış bir sistem işlerinizi sıraya alırken bekletir; aşırı boyutlandırılmış bir sistem ise bütçenizi gereksiz yere tüketir. İki uç da organizasyona zarar verir. Bu yazıda, iş yükü analizinden kaynak modellemeye ve fazlalık planlamasına kadar sistematik bir boyutlandırma metodolojisi sunuyoruz.

İş Yükü Analizinden Başlamak

Cluster boyutlandırmanın ilk adımı, donanımı değil iş yükünü anlamaktır. Hangi uygulamaları çalıştıracaksınız? Bu uygulamalar paralel mi, seri mi? Bellek bant genişliğine mi yoksa saf hesaplama gücüne mi bağımlı?

Uygulama Profillerini Çıkarın

Farklı HPC uygulamaları çok farklı kaynak profilleri oluşturur:

• Tightly coupled MPI uygulamaları (CFD, moleküler dinamik): Node’lar arası düşük gecikme ve yüksek bant genişliği talep eder. InfiniBand ağ genellikle zorunludur.
• Yüksek bellek bant genişliği gerektiren uygulamalar (doğrusal cebir çözücüleri, büyük ölçekli simülasyonlar): NUMA topolojisi ve RAM hızı kritiktir.
• Embarrassingly parallel iş yükleri (parametre tarama, Monte Carlo): Node’lar arası iletişim minimumdur; standart Ethernet bile yeterli olabilir.
• I/O yoğun uygulamalar (genomik analizler, makine öğrenmesi eğitimi): Depolama katmanı darboğaz olabilir.

Mevcut uygulamalarınızın profillerini çıkarmak için önce küçük ölçekli kıyaslama testleri yapın. Çeşitli açık kaynaklı araçlarla gerçek iş yüklerinizin kaynak tüketim örüntülerini ölçebilirsiniz.

Eşzamanlılık ve Kuyruk Derinliği

Kaç kullanıcı aynı anda çalışacak? Tipik bir iş ne kadar sürer? Bu soruların yanıtları, toplam çekirdek sayısından çok daha belirleyicidir.

Örnek bir hesaplama:

Günlük iş hacmi: 200 iş
Ortalama iş süresi: 4 saat
Çalışma penceresi: 16 saat/gün

Anlık eşzamanlı iş sayısı ≈ (200 × 4) / 16 = 50 iş

Her iş: 32 çekirdek, 256 GB RAM kullanıyor ise
Toplam gereksinim: 50 × 32 = 1.600 çekirdek, 50 × 256 GB = 12.800 GB RAM

Bu hesaba %20 fazlalık eklediğinizde hedef kapasiteniz netleşir.

Node Sayısını Belirlemek

Çekirdek Başına Maliyet ve Verimlilik

Node sayısı seçiminde iki karşıt güç işler: daha az ama güçlü node’lar yönetimi kolaylaştırır; daha fazla ama küçük node’lar hata toleransını artırır ve düşük bellek gerektiren işler için esneklik sağlar.

Modern sunucu işlemciler genellikle 16 ila 128 çekirdek aralığında gelir. Çekirdek sayısı yükseldikçe NUMA domainleri artar ve bellek erişim gecikmesi karmaşıklaşır. Uygulamanız NUMA-farkında değilse, çok çekirdekli bir node üzerinde beklediğiniz ölçeklemeyi elde edemeyebilirsiniz.

Pratikte yaygın bir yaklaşım, node başına 2 soket, soket başına 32-64 çekirdek olacak şekilde tasarımı yapmak ve uygulamanın davranışını o topolojide test etmektir.

Homojen mi, Heterojen mi?

Homojen cluster’lar (aynı donanım yapılandırması) yönetimi basitleştirir ve iş planlayıcının kararlarını öngörülebilir kılar. Heterojen cluster’lar (farklı CPU/GPU node karışımı) esneklik sağlar ama planlayıcı yapılandırması ve kullanıcı deneyimi açısından ek yük getirir.

Genel öneri: başlangıçta homojen bir compute katmanı, ayrı bir GPU katmanı ve ayrı bir yüksek bellek katmanı olarak üç farklı partition oluşturmak. Bu yapı hem yönetilebilir hem de esnektir.

RAM Hesabı: Çekirdek Başına Ne Kadar?

Uygulama Gereksinimlerinden Gitmek

RAM boyutlandırmasında temel kural şudur: en büyük tekil işinizin bellek gereksinimini node kapasitesinin altında tutun ve node başına birden fazla iş çalıştırabilecek esnekliği koruyun.

Yaygın oranlar:

Bu tablodaki değerler başlangıç noktasıdır; gerçek iş yüklerinizle kıyaslama testleri yapmadan kesin karar vermeyin.

Bellek Kanalları ve Bant Genişliği

Toplam RAM kapasitesinin yanı sıra bellek kanalı sayısı da kritiktir. Modern çift soketli sunucular genellikle 8–16 bellek kanalı sunar. Tüm kanalları doldurmak, aynı kapasite için yalnızca bazı kanalların dolu olması durumuna göre bellek bant genişliğini önemli ölçüde artırır.

DDR5 geçişiyle birlikte bant genişliği önemli ölçüde yükselmiştir. Bellek bant genişliğine duyarlı uygulamalar (DGEMM, FFT, büyük matris işlemleri) için DDR5 yatırımı performansı doğrudan etkiler.

Depolama Katmanı: Paralel Dosya Sistemleri ve Kapasite Planlaması

Depolama, HPC sistemlerinde en sık göz ardı edilen ve en hızlı dolan bileşendir.

Üç Katmanlı Depolama Mimarisi

İyi tasarlanmış bir HPC depolama katmanı genellikle üç kademeden oluşur:

1. Yüksek performanslı paralel dosya sistemi (Lustre, GPFS/Spectrum Scale, BeeGFS): Hesaplama sırasında aktif olarak erişilen veriler burada tutulur. Yüksek IOPS ve yüksek bant genişliği gerektirir; genellikle NVMe SSD tabanlıdır.

2. Orta katman / proje depolama (Kapasiteli HDD tabanlı): Aktif projeler ve paylaşılan veri kümeleri burada saklanır. Makul bant genişliği, yüksek kapasite.

3. Arşiv / soğuk depolama (Nesne depolama, bant, uzak yedek): Tamamlanan projeler, uzun vadeli saklama gereksinimleri.

Kapasite Hesabı

Başlangıç kapasite tahminini şu şekilde yapabilirsiniz:

Kullanıcı sayısı: 50
Kullanıcı başına ortalama aktif veri: 2 TB
Paylaşılan veri kümeleri: 10 TB
Geçici iş verileri (hesaplama sırasında): 20 TB
Sistem ve yazılım: 5 TB

Toplam birincil depolama ihtiyacı: ~120 TB ham
RAID-6 verimliliği (%75): ~90 TB kullanılabilir
Büyüme payı (%25): 120 TB'lik fiziksel kurulum önerilir

IOPS ve Bant Genişliği Gereksinimleri

Kapasite kadar IOPS (saniyedeki giriş/çıkış işlemi) ve bant genişliği de önemlidir. 1.000 çekirdeklik bir cluster için tipik beklenti şöyledir:

• Birincil paralel dosya sistemi: 50–100 GB/s toplam bant genişliği
• IOPS: 500.000 – 1.000.000 (küçük dosya yoğun iş yükleri için daha yüksek)

Bu değerlere ulaşmak için NVMe SSD tabanlı depolama sunucuları ve Lustre gibi paralel dosya sistemleri birlikte kullanılır.

Ağ Boyutlandırması

Hesaplama node sayısı ve iş yükü türüne göre ağ mimarisi değişir:

• 100 ve altı node, loosely coupled iş yükler: 25 GbE yeterlidir ve maliyet avantajı sağlar.
• 100–500 node, MPI ağırlıklı: HDR InfiniBand (200 Gb/s) veya 100 GbE fat-tree topoloji önerilir.
• 500 node üzeri, tightly coupled: HDR/NDR InfiniBand, non-blocking fat-tree.

Oversubscription oranına dikkat edin. 2:1 oversubscription çoğu iş yükü için kabul edilebilirken, tightly coupled MPI uygulamaları için 1:1 (non-blocking) topoloji performans açısından kritik olabilir.

Fazlalık ve Büyüme Planlaması

Donanım Fazlalığı

Üretim ortamında en az şu bileşenler için fazlalık planlanmalıdır:

• Login node’ları: Aktif/pasif çift konfigürasyonu
• Management node: Yedek veya sanal makine tabanlı failover
• Ağ anahtarları: Yedekli uplink ve kritik anahtarlarda dual power supply
• Depolama kontrolörleri: Aktif/aktif çift kontrolör

Compute node’larının tamamı için fazlalık genellikle uygun maliyetli değildir; bunun yerine N+%10 formülü uygulanır — toplam node sayısının %10’u kadar yedek node hazır tutulur.

Büyüme Planı

Cluster’ı bugünkü ihtiyaçlar için değil, 3–5 yıllık projeksiyon için boyutlandırın. Ancak tüm kapasiteyi baştan satın almak yerine genişletilebilir bir mimariye yatırım yapın:

• Rack ve güç altyapısını gelecekteki kapasiteye göre planlayın
• Ağ core katmanını tam kapasitede tasarlayın; leaf/TOR katmanını aşamalı genişletin
• Depolama dosya sistemini baştan büyük konfigürasyonda kurun, disk dolumu aşamalı yapın

Bu yaklaşım, başlangıç maliyetini optimize ederken gelecekteki genişleme sürtüşmesini minimuma indirir.

Güç ve Soğutma: Sık Atlanan Boyutlar

Her hesaplama node’u için TDP (Thermal Design Power) değerlerine bakın ve %80 kullanım oranında güç tüketimini tahmin edin. Depolama, ağ ve yönetim altyapısını da hesaba katın.

Genel bir kural: hesaplama donanımı için watt cinsinden güç tüketiminin 1,3–1,5 katı kadar soğutma kapasitesi (PUE hedefi 1.3–1.5) planlayın. Yüksek yoğunluklu kurulumlar için sıvı soğutma çözümleri artık operasyonel açıdan uygun maliyetli bir alternatif haline gelmiştir.

Sonuç: Boyutlandırma Bir Süreçtir

HPC cluster boyutlandırması tek seferlik bir hesap değil, iş yükü verileriyle beslenen yinelemeli bir süreçtir. Gerçekçi bir metodoloji şu adımları izler: iş yükü profili çıkar, kıyaslama testleri yap, modeli kalibre et, fazlalık ve büyüme planla, bütçeyle dengele.

Hiçbir kağıt üzerindeki hesaplama, gerçek iş yüklerinizle yapılacak pilot testlerin yerini tutamaz. Mümkünse, üretim sistemini kurmadan önce küçük ölçekli bir pilot veya bulut tabanlı HPC denemeleriyle temel varsayımlarınızı doğrulayın.

Mevasis olarak cluster boyutlandırma konusunda size destek olmaktan memnuniyet duyarız. İletişim için formu doldurun.