Yükleniyor
Büyük dil modeli (LLM 70B+) dağıtık eğitiminde NVIDIA Quantum InfiniBand (NDR 400G / XDR 800G) ile RoCEv2 (Ultra Ethernet) arasındaki All-Reduce kolektif senkronizasyon hızını, PFC deadlock riskini ve GPU bütçe tasarrufunu simüle edin.
| Mimari | P99 Gecikme | All-Reduce | GPU Bekleme | PFC Deadlock | Ağ Maliyeti/GPU | Durum |
|---|---|---|---|---|---|---|
NVIDIA Quantum-X800 InfiniBandOnerilen | 0.95 µs | 1431.99 ms | %25 | Sifir (Donanimsal Guvenli) | $2,800 | Ideal Secim |
800G RoCEv2 (Ethernet PFC/ECN) | 2.8 µs | 3070.98 ms | %45 | Orta / Yuksek (PFC Ayari Gerekli) | $1,900 | Alternatif |
800G Ultra Ethernet (UEC Standart) | 1.6 µs | 2313.68 ms | %35 | Dusuk (UEC Paket Puskurtme) | $2,100 | Alternatif |
NVIDIA Quantum OpenSM SHARP veya Arista/Cisco 800G PFC + ECN switch ayarlari.
# NVIDIA Quantum-2 / Quantum-X800 OpenSM (Subnet Manager) Yapilandirmasi
# /etc/opensm/opensm.conf
# SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) Aktiflestirme
sharp_enabled 2
sharp_max_groups 64
# Hiz ve Kredi Dengelemesi
routing_engine ftree
lmc 0
max_op_vls 8
head_of_queue_lifetime 0x12Dağıtık yapay zeka eğitiminde (All-Reduce gradyan senkronizasyonu), tek bir paketin bile düşmesi (packet drop) tüm GPU kümesinin o adımı yeniden beklemesine ve devasa hesaplama gücünün boşa harcanmasına yol açar.
InfiniBand doğuştan kayıpsızdır (Lossless by Design): Bağlantı katmanında donanımsal kredi tabanli akış denetimi (credit-based flow control) kullanır. Alıcı tamponunda yer yoksa verici tek bir bayt bile göndermez.RoCEv2 ise konfigürasyonla kayıpsızdır (Lossless by Configuration): Doğası gereği paket düşüren standart Ethernet üzerinde PFC (Priority Flow Control) ve ECN (Explicit Congestion Notification) ile kayıpsızlık simüle edilir. Ancak PFC doğru ayarlanmazsa "PFC Deadlock" oluşur ve yüzlerce GPU kilitlenir.
NVIDIA Quantum anahtarlarında bulunan SHARP (Scalable Hierarchical Aggregation and Reduction Protocol), tümleme işlemlerini doğrudan switch ASIC'i üzerinde gerçekleştirir. Bu sayede All-Reduce veri trafiği %45-50 oranında azalır ve P99 kuyruk gecikmesi 1 mikrosaniyenin altında kalır.
Diğer taraftan Broadcom Tomahawk 5 ve Ultra Ethernet Consortium (UEC) mimarileri, GPU başına ağ maliyetini $900-$1.000 daha ucuza getirerek çoklu tedarikçi bağımsızlığı sunar. 64-256 GPU'lu çıkarım (inference) kümelerinde RoCEv2 açık ara en yüksek TCO verimliliğini sağlarken, 1.000+ GPU'lu derin model ön eğitiminde InfiniBand vazgeçilmez altın standart olmaya devam etmektedir.