Yapay zeka devrimiyle birlikte (Llama 3, DeepSeek, Mistral, Stable Diffusion), geleneksel CPU tabanlı sunucular matris çarpımları ve tensör hesaplamalarında yetersiz kalmaktadır. Günümüzde yerel veya bulutta çalışan yapay zeka projelerinin kalbi GPU (Grafik İşlemci Ünitesi) sunucularıdır.
Ancak GPU sunucu kiralarken en sık yapılan hata, sadece oyun kartı saat hızlarına odaklanıp VRAM boyutu, bellek bant genişliği (memory bandwidth) ve tensör çekirdeği mimarisini göz ardı etmektir. Yanlış donanım seçimi; "CUDA Out of Memory" (OOM) hatalarına veya binlerce dolarlık gereksiz bulut faturalarına yol açabilir.
Bu rehberde, projenizin ihtiyacına uygun en ekonomik ve yüksek performanslı GPU sunucusunu seçmenin tüm teknik kriterlerini açıklıyoruz.
1. Popüler Yapay Zeka GPU Karşılaştırma Tablosu
| GPU Modeli | Bellek (VRAM) | Bellek Türü & Bant Genişliği | Hedef Kullanım Alanı | Ortalama Maliyet |
|---|---|---|---|---|
| NVIDIA RTX 3090 / 4090 | 24 GB | GDDR6X (1.008 GB/s) | 7B–14B LLM Çıkarımı, Stable Diffusion XL, Whisper | En İyi F/P (Saatlik $0.35–$0.70) |
| NVIDIA L4 / L40S | 24 GB / 48 GB | GDDR6 (300–864 GB/s) | Kurumsal Çıkarım, Video Kodlama, Çoklu Oturum | Orta Ölçek (Saatlik $0.70–$1.50) |
| NVIDIA A100 (SXM4) | 80 GB | HBM2e (2.039 GB/s) | 70B LLM Fine-Tuning, Büyük Veri Seti Eğitimi | Yüksek (Saatlik $1.60–$2.20) |
| NVIDIA H100 (SXM5) | 80 GB | HBM3 (3.350 GB/s) | FP8 Transformer Motoru, 70B+ Model Eğitimi | Kurumsal Zirve (Saatlik $2.80–$3.80) |
2. LLM VRAM İhtiyacı Nasıl Hesaplanır?
Bir yapay zeka modelini GPU belleğine (VRAM) sığdırabilmek için pratik formül:
Gereken VRAM = (Parametre Sayısı × Ağırlık Bayt Boyutu) + KV-Cache + %20 Sistem Payı
Örnek Senaryolar:
-
Llama-3-8B (FP16 - 16 Bit):
- 8 Milyar × 2 Bayt ≈ 16 GB model ağırlığı.
- KV-Cache ve bağlam (context) uzunluğu için yaklaşık +4 GB.
- Sonuç: Tek bir RTX 3090 veya RTX 4090 (24 GB) bu modeli tam hassasiyetle (FP16) rahatlıkla çalıştırır.
-
Llama-3-70B (4-Bit Quantized - Q4):
- 70 Milyar × 0.5 Bayt ≈ 35 GB model ağırlığı.
- Bağlam belleğiyle birlikte ~42 GB VRAM gerekir.
- Sonuç: Tek kart yetmez; en az 2x RTX 4090 (48 GB) veya tek bir A100 (80 GB) gereklidir.
3. Bellek Bant Genişliği Neden Saat Hızından Önemlidir?
Büyük dil modellerinde çıkarım (inference) sürecinde her yeni token (kelime/hece) üretildiğinde, tüm model ağırlıklarının GPU belleğinden çekirdeklere baştan sona akması gerekir. Buna Memory Bound (Bellek Sınırlı) işlem denir.
- Bir RTX 4090 saniyede ~1.000 GB veri aktarabilirken,
- Bir A100 saniyede ~2.000 GB,
- Bir H100 ise saniyede ~3.350 GB veri aktarır.
Bu nedenle H100 üzerinde token üretim hızı (tokens per second), saat hızı benzer görünse dahi RTX 4090'a göre 3 ila 5 kat daha hızlıdır. Kullanıcı sayısı arttıkça aradaki fark katlanarak büyür.
4. Çıkarım (Inference) Optimizasyonu: vLLM ve PagedAttention
Geleneksel HuggingFace pipeline'ları belleği statik tahsis eder ve belleğin %60-70'ini boşa harcar. Modern GPU sunucularında üretim ortamı için vLLM kütüphanesi kullanılmalıdır:
- PagedAttention Teknolojisi: Bellek parçalanmasını (fragmentation) sıfıra indirir.
- Continuous Batching: Gelen kullanıcı isteklerini kuyrukta bekletmeden dinamik olarak GPU tensörlerine paketler.
- 4x–10x İstek Kapasitesi: Aynı 24 GB VRAM içinde 4 kat daha fazla eşzamanlı kullanıcıya hizmet vermenizi sağlar.
# vLLM ile OpenAI uyumlu API sunucusu başlatma:
python3 -m vllm.entrypoints.openai.api_server \
--model meta-llama/Meta-Llama-3-8B-Instruct \
--tensor-parallel-size 1 \
--gpu-memory-utilization 0.95 \
--port 8000
5. Saatlik Spot/On-Demand vs Aylık Taahhütlü GPU
- Spot / Community GPU:
- RunPod, Vast.ai gibi platformlarda saatlik $0.20–$0.40 seviyelerindedir.
- Dezavantajı: Başka bir kullanıcı daha yüksek teklif verirse sunucunuz anında kapatılabilir. Kısa süreli model denemeleri ve Ar-Ge için idealdir.
- On-Demand (Kesintisiz Saatlik):
- Sunucunuz siz silene kadar garanti altındadır. Lambda Labs, RunPod Secure Cloud gibi sağlayıcılarda bulunur.
- Dedicated Aylık Kiralama:
- 7/24 üretimde olan bir SaaS API'si işletiyorsanız, Hetzner, OVHcloud veya Türk veri merkezlerinden aylık bare-metal RTX 4090 veya A100 kiralamak, saatlik buluta göre %40–60 daha ekonomiktir.