InfiniBand Yüksek Hızlı Ağ

Modern yüksek başarımlı hesaplama (HPC) kümelerinde düğümler arası iletişim, genel sistem performansını doğrudan belirleyen kritik bir etkendir. Bir hesaplama düğümü işlemci çekirdeği başına saniyede milyarlarca işlem gerçekleştirebilse de, düğümler arasındaki ağın bu hızla başa çıkamaması durumunda tüm sistem bir darboğaza girer. InfiniBand, bu sorunu çözmek için tasarlanmış, veri merkezleri ve HPC ortamlarında on yılı aşkın süredir kullanılan özel bir yüksek hızlı interconnect teknolojisidir.

InfiniBand Nedir ve Neden Gereklidir?

InfiniBand, sunucular, depolama sistemleri ve ağ anahtarları arasında yüksek bantgenişliği ile son derece düşük gecikme sağlamak amacıyla geliştirilmiş bir ağ standardıdır. Standart Ethernet’ten farklı olarak InfiniBand, RDMA (Remote Direct Memory Access) teknolojisini yerel olarak destekler. RDMA sayesinde bir düğüm, karşı düğümün CPU’sunu ve işletim sistemini devre dışı bırakarak doğrudan belleğe erişim sağlar; bu da işlemci yükünü önemli ölçüde azaltır ve gecikmeyi minimuma indirir.

Günümüz HPC iş yüklerinde InfiniBand zorunluluğu şu senaryolarda belirginleşir:

• MPI tabanlı paralel hesaplama: Onlarca veya yüzlerce işlemcinin sıkı senkronizasyon gerektirdiği simülasyonlarda her mikrosaniye önem taşır.
• Derin öğrenme eğitimi: Büyük dil modelleri ve çok GPU’lu eğitim süreçlerinde GPU’lar arası gradient senkronizasyonu ağa bağımlıdır.
• Finansal modelleme ve Monte Carlo simülasyonları: Çok sayıda bağımsız işin düşük gecikmeyle haberleşmesi sonuç kalitesini doğrudan etkiler.
• Genom ve biyoinformatik analizleri: Dağıtık bellek gerektiren büyük veri setlerinin işlenmesi.

HDR200 ve NDR400: Hız Katmanları

InfiniBand teknolojisi farklı nesiller ve hız katmanları sunar. Günümüzde yaygın olarak kullanılan iki ana katman şunlardır:

HDR200, günümüzde en yaygın dağıtılan standarttır ve çoğu kurumsal HPC ortamı için uygun maliyet-performans dengesi sunar. NDR400 ise özellikle büyük GPU kümelerinde ve yapay zeka altyapılarında tercih edilmektedir; birim maliyet daha yüksek olmakla birlikte, yoğun all-to-all iletişim gerektiren iş yüklerinde yatırım geri dönüşü hızlıdır.

InfiniBand Fabric Mimarisi

InfiniBand ağı, “fabric” adı verilen özel bir topoloji anlayışıyla inşa edilir. En yaygın topoloji fat-tree’dir; bu yapıda tüm uç düğümler birden fazla yol üzerinden birbirine bağlıdır, böylece hem yedeklilik hem de tam bantgenişliği sağlanır.

Fat-Tree Topolojisi

           [Core Switch]
          /       |       \
    [Leaf-1]  [Leaf-2]  [Leaf-3]
    /  |  \   /  |  \   /  |  \
  N1  N2  N3 N4  N5  N6 N7  N8  N9

Fat-tree topolojisinde her seviyede yeterli uplink sağlandığında, herhangi iki düğüm arasındaki iletişim tam line-rate bandwith ile gerçekleşir. Bu, küme büyüdükçe performansın düşmediği anlamına gelir; yatay ölçeklenebilirlik mükemmeldir.

Subnet Manager

InfiniBand fabric’inin işleyebilmesi için bir Subnet Manager (SM) gereklidir. SM, tüm fabric topolojisini keşfeder, LID (Local Identifier) atamalarını yapar ve yönlendirme tablolarını hesaplar. Küçük kümelerde SM yazılım olarak çalıştırılabilirken, büyük üretim ortamlarında donanım tabanlı SM veya OpenSM ile birden fazla SM örneği (aktif/yedek) kurulması önerilir.

# OpenSM servisini başlatmak ve durumunu kontrol etmek
systemctl start opensm
systemctl enable opensm

# Fabric topolojisini görüntülemek
ibnetdiscover | head -40

# Tüm portların bağlantı durumunu listelemek
ibstat

# Gecikme ve bandwidth testi (düğümler arası)
ib_write_bw -d mlx5_0 -i 1   # sunucu tarafı
ib_write_bw -d mlx5_0 -i 1 <sunucu-ip>  # istemci tarafı

Mevasis InfiniBand Uygulama Süreci

Mevasis olarak InfiniBand altyapısını uçtan uca tasarlıyor, kuruyor ve devreye alıyoruz. Sürecimiz dört temel aşamadan oluşur:

1. Tasarım ve Kapasite Planlaması

İş yükü analizi yaparak ihtiyaç duyulan port sayısı, hız katmanı ve topoloji belirlenir. Mevcut sunucu envanteriyle uyumlu HCA (Host Channel Adapter) kart seçimi, switch modeli ve kablo türü (aktif optik kablo veya bakır DAC) bu aşamada netleştirilir. Gelecekteki büyüme senaryoları da mimariye dahil edilir.

2. Fiziksel Kurulum ve Kablolama

Switch rack yerleşimi, kablo yönetimi ve etiketleme standartlarına uygun olarak gerçekleştirilir. Tüm bağlantılar Link/Activity testlerinden geçirilir; hatalı kablo veya modül varsa üretim öncesinde tespit edilir.

3. Yazılım ve Sürücü Konfigürasyonu

Sunuculara MLNX_OFED (Mellanox OpenFabrics Enterprise Distribution) sürücü paketi kurulur. Kernel parametreleri RDMA performansı için optimize edilir. MPI kütüphaneleri (OpenMPI, MVAPICH2) InfiniBand desteğiyle derlenir ve yapılandırılır.

4. Performans Testi ve Kabul

Teslim öncesinde aşağıdaki testler sistematik biçimde uygulanır:

• Tekli bağlantı bandwith testi: Her bağlantı noktasının teorik maksimuma ulaşıp ulaşmadığı doğrulanır.
• All-to-all gecikme testi: Fabric genelinde tutarlı gecikme dağılımı kontrol edilir.
• MPI benchmark: IMB-MPI1 ve OSU Micro-Benchmarks ile gerçek uygulama koşulları simüle edilir.
• Ağ yalıtım testi: Switch veya HCA arızası senaryolarında failover davranışı gözlemlenir.

İzleme ve Operasyonel Yönetim

InfiniBand fabric’inin sağlıklı çalışması sürekli izleme gerektirir. Port hataları, symbol hataları ve bağlantı kalitesi metrikleri Prometheus + Grafana altyapısıyla toplanabilir. Mellanox NEO veya açık kaynaklı perfquery tabanlı çözümlerle tüm switch portlarından metrik toplama otomasyona alınır.

Kritik uyarılar arasında port link-down olayları, yüksek sembol hata oranı ve aşırı yeniden iletim sayacı bulunur. Bu durumlar genellikle fiziksel kablo hasarına veya SFP/QSFP modül sorununa işaret eder ve zamanında müdahaleyle büyük kesintilere dönüşmeden çözülebilir.

InfiniBand altyapısı, HPC yatırımlarının performans potansiyelini tam olarak realize etmenin temel koşuludur. Hesaplama düğümlerine yapılan yatırımın karşılığını alabilmek için interconnect katmanının aynı titizlikle tasarlanması gerekir. Mevasis, bu alandaki deneyimiyle doğru topoloji seçiminden üretim geçişine kadar tüm süreçlerde yanınızdadır.

Kümeniz için InfiniBand mimarisi hakkında teknik değerlendirme yapmak isterseniz iletişim sayfamızdan ulaşabilirsiniz.