vLLM vs Ollama vs TensorRT-LLM: VDS/GPU Çıkarım & Token Hesaplayıcı

Yapay zeka ajanları, RAG boru hatları ve kurumsal sohbet botlarında OpenAI (GPT-4o) veya Anthropic (Claude 3.5 Sonnet) kullanmak pratik görünse de; aylık 50-200 milyon token tüketimine ulaşıldığında faturalar $1.000 ila $5.000+ seviyesine tırmanır ve hassas müşteri verileri yabancı bulutlara akar. PagedAttention ve continuous batching destekli açık kaynak vLLM motorunu kendi GPU VDS sunucunuzda çalıştırarak; saniyede binlerce token üretin, OpenAI uyumlu API ile sıfır kod değişikliği sağlayın ve token başı $0 maliyetle %80+ net tasarruf elde edin.

İş Yükü & Model Mimarisi

Çalıştırılacak Açık Ağırlıklı Model Boyutu

Aylık Toplam Üretilen / Tüketilen Token50 Milyon Token

5 M50 M150 M300 M (Kurumsal Ölçek)

Eşzamanlı Kullanıcı / İstek Akışı (Concurrency)15 Eşzamanlı İstek

vLLM PagedAttention sayesinde her kullanıcı için ayrılan KV Cache sanal sayfalara bölünür; VRAM israfı %96 azalır.

Bulut API Karşılaştırması & Altyapı

Kıyaslanacak Tescilli Bulut API

Yedekli (HA) Çift GPU VDS: LiteLLM önünde 2 adet bağımsız GPU sunucusuyla kesintisiz sıfır-kesinti kurgusu aç.

Model Ağırlığı VRAM:20 GB

KV Cache VRAM (15 kullanıcı için):9.8 GB

Toplam Gereken GPU VRAM:29.8 GB

KVKK & Veri Egemenliği:%100 Kurum İçi (Sıfır Dış Sızıntı)

Aylık Net Tasarruf

Yılda $0 tasarruf (%0)

Bulut API Faturası

$238 / ay

50M token için harcanan API maliyeti

Kendi GPU VDS Maliyetiniz

$260 / ay

Sabit donanım kirası (Token sayısı artsa da maliyet artmaz!)

Çıkarım Hızı (Throughput)

2.800 t/s

vLLM sürekli kümeleme ile eşzamanlı çıktı hızı

Çıkarım Motorları Kıyaslaması (Inference Engine Matrix)

Çıkarım Motoru	Kümeleme (Batching) Stratejisi	KV Cache Bellek Verimliliği	Eşzamanlılık Ölçeklenmesi	Entegrasyon Protokolü
vLLM (PagedAttention)Önerilen	Sürekli Kümeleme (Continuous Batching)	%96 Bellek Tasarrufu (Sanal Sayfalama ile Sıfır Parçalanma)	Mükemmel (10-100 eşzamanlı kullanıcıda lineer ölçekleme)	OpenAI Uyumluluk (/v1/chat/completions)
Ollama (llama.cpp)	Statik / Sıralı İstek İşleme (Sequential Queue)	Temel Tahsisat (Yüksek eşzamanlılıkta VRAM taşması)	Düşük (Tekil geliştirici ve lokal testler için ideal)	Ollama API + OpenAI Uyumluluk
TensorRT-LLM	In-Flight Batching (Statik TensorRT Motor Derlemesi)	Optimize Edilmiş Paged KV Cache	Çok Yüksek (NVIDIA Enterprise H100 kümeleri için optimize)	Triton Inference Server REST/gRPC

Önerilen GPU VDS Sunucusu

GPU VDS Pro (2x RTX 4090 / 1x A6000)

Bu donanım, seçilen 14B - 32B Sınıfı (Qwen 32B / DeepSeek R1 32B) modelini ve 15 eşzamanlı kullanıcıyı saniyede 2.800 token throughput ile kesintisiz besler.

GPU Modeli

2x NVIDIA RTX 4090 (48GB VRAM Toplam)

VRAM / RAM

48GB / 64GB

İşlemci (vCPU)

16 vCPU

Aylık Maliyet

$260

NVIDIA GPU rezervasyonu ve AWQ kuantizasyonu ile tek tıkla vLLM dağıtımı:

version: '3.8'

services:
  # vLLM: Yüksek Throughput PagedAttention Çıkarım Motoru (OpenAI Uyumlu API)
  vllm-server:
    image: vllm/vllm-openai:latest
    restart: unless-stopped
    runtime: nvidia
    environment:
      - HUGGING_FACE_HUB_TOKEN=hf_your_token_here
    ports:
      - "8000:8000"
    volumes:
      - ~/.cache/huggingface:/root/.cache/huggingface
    ipc: host
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    command: >
      --model Qwen/Qwen2.5-32B-Instruct-AWQ
      --quantization awq
      --dtype auto
      --gpu-memory-utilization 0.92
      --max-model-len 8192
      --port 8000
      --api-key "GucluVllmAnahtari2026"

vLLM ve LLM Çıkarımı İçin Doğrulanmış Canlı GPU Sunucuları

HostBilgim gerçek veri tabanından 24GB+ VRAM kapasitesine sahip, canlı kazınmış güncel GPU teklifleri.

Tüm GPU Planlarını Gör (4+)

LayerStack

sxm

A100 – Quarter Power

GPU:1x A100

vRAM:80 GB

₺ / GB vRAM:₺3,12

Aylık Başlangıç

₺249,32/ay

Detay Siteye Git

LayerStack

pcie

A40 – Full Power

GPU:1x A40

vRAM:48 GB

₺ / GB vRAM:₺5,19

Aylık Başlangıç

₺249,32/ay

Detay Siteye Git

LayerStack

pcie

A40 – Half Power

GPU:1x A40

vRAM:48 GB

₺ / GB vRAM:₺5,19

Aylık Başlangıç

₺249,32/ay

Detay Siteye Git

LayerStack

pcie

A40 – Quarter Power

GPU:1x A40

vRAM:48 GB

₺ / GB vRAM:₺5,19

Aylık Başlangıç

₺249,32/ay

Detay Siteye Git

1. Tescilli API'lerin Token Tuzağı ve Veri Güvenliği

GPT-4o ve Claude 3.5 Sonnet gibi modeller güçlü olsa da, token başına fiyatlandırma modeli başarılı projeleri cezalandırır. Bir müşteri destek botu veya doküman analiz ajanı ayda 100 milyon token işlediğinde faturanız $400 - $700 bandına otururken; 500 milyon token seviyesinde $3.000/ay sınırını aşar. Üstelik finans, sağlık veya hukuk sektöründe kullanıcı sorularını ve şirket içi verileri harici sunuculara göndermek KVKK, BDDK ve GDPR düzenlemelerine doğrudan aykırıdır.

Kendi GPU VDS sunucunuzda (örneğin 1x veya 2x NVIDIA RTX 4090 / L4) barındıracağınız açık ağırlıklı Qwen 2.5 32B, Llama 3.3 70B AWQ veya DeepSeek R1 modelleri, GPT-4o ile yarışan muhakeme kabiliyetini sabit aylık donanım maliyetiyle ($135 - $260/ay) sunar. Ayda 1 milyar token üretseniz dahi faturanız 1 kuruş artmaz.

PagedAttention & Sanal Bellek

vLLM, GPU VRAM'indeki KV Cache alanını sanal sayfalara bölerek parçalanmayı (fragmentation) %96 oranında yok eder. Aynı donanımda 20 kat daha fazla eşzamanlı istek karşılanır.

Sürekli Kümeleme (Continuous Batching)

Klasik sistemler gibi tüm isteklerin bitmesini beklemez; her token üretim adımında yeni gelen istekleri kümeye dahil eder ve GPU çekirdeklerini %100 verimle çalıştırır.

OpenAI Uyumlu REST API

vLLM yerel olarak /v1/chat/completions ve /v1/embeddings uç noktalarını açar. LangChain, Flowise, LlamaIndex veya resmi OpenAI SDK'larında sadece baseURL değiştirerek çalıştırabilirsiniz.

2. vLLM vs Ollama: Ne Zaman Hangisi Seçilmeli?

Ollama, bireysel geliştiricilerin yerel dizüstü bilgisayarlarında CLI üzerinden tekil testler yapması için olağanüstü bir araçtır (llama.cpp tabanlıdır). Ancak çok kullanıcılı bir web uygulamasında veya SaaS platformunda Ollama kullanıldığında eşzamanlı istekler sıraya girer, gecikmeler saniyelerce bekletir ve throughput düşer. vLLM ise yüzlerce eşzamanlı üretim isteğini paralel akıtabilen gerçek bir kurumsal üretim motorudur.

GPU VDS Seçimi ve AWQ Kuantizasyonu

AWQ (Activation-aware Weight Quantization): 70 milyar parametreli bir modeli FP16 yerine 4-bit AWQ ile çalıştırarak model ağırlığını 140 GB'tan 42 GB'a düşürün; doğruluk kaybı %1'in altındadır.
Tekil RTX 4090 (24GB): Qwen 2.5 14B-32B AWQ ve Llama 3.1 8B için en yüksek fiyat/performans donanımıdır (~$135/ay).
Çift GPU (2x 24GB veya A6000 48GB): 70B sınıfı büyük modeller ve 30+ eşzamanlı akış için önerilen kurumsal standarttır.

vLLM vs Ollama vs TensorRT-LLM: VDS/GPU Çıkarım & Token Hesaplayıcı

Çıkarım Motoru

Kümeleme (Batching) Stratejisi

KV Cache Bellek Verimliliği

Eşzamanlılık Ölçeklenmesi

Entegrasyon Protokolü

vLLM (PagedAttention)Önerilen

Sürekli Kümeleme (Continuous Batching)

%96 Bellek Tasarrufu (Sanal Sayfalama ile Sıfır Parçalanma)

Mükemmel (10-100 eşzamanlı kullanıcıda lineer ölçekleme)

OpenAI Uyumluluk (/v1/chat/completions)

Ollama (llama.cpp)

Statik / Sıralı İstek İşleme (Sequential Queue)

Temel Tahsisat (Yüksek eşzamanlılıkta VRAM taşması)

Düşük (Tekil geliştirici ve lokal testler için ideal)

Ollama API + OpenAI Uyumluluk

TensorRT-LLM

In-Flight Batching (Statik TensorRT Motor Derlemesi)

Optimize Edilmiş Paged KV Cache

Çok Yüksek (NVIDIA Enterprise H100 kümeleri için optimize)

Triton Inference Server REST/gRPC

version: '3.8' services: # vLLM: Yüksek Throughput PagedAttention Çıkarım Motoru (OpenAI Uyumlu API) vllm-server: image: vllm/vllm-openai:latest restart: unless-stopped runtime: nvidia environment: - HUGGING_FACE_HUB_TOKEN=hf_your_token_here ports: - "8000:8000" volumes: - ~/.cache/huggingface:/root/.cache/huggingface ipc: host deploy: resources: reservations: devices: - driver: nvidia count: all capabilities: [gpu] command: > --model Qwen/Qwen2.5-32B-Instruct-AWQ --quantization awq --dtype auto --gpu-memory-utilization 0.92 --max-model-len 8192 --port 8000 --api-key "GucluVllmAnahtari2026"

1. Tescilli API'lerin Token Tuzağı ve Veri Güvenliği

2. vLLM vs Ollama: Ne Zaman Hangisi Seçilmeli?