1. Yüksek Frekanslı Tick Verilerinde Standart SQL Neden Çöker?
Geleneksel ilişkisel veritabanları (PostgreSQL, MySQL), ACID güvencesi sunabilmek için her yazma işleminde Write-Ahead Log (WAL) dosyasına yazar, satır kilitleri (row-level locking) uygular ve B-Tree indekslerini sürekli günceller.
Saniyede 50.000 veya 100.000 tick üreten bir kripto borsa akışında klasik veritabanları disk I/O darboğazına girer, bellek şişer ve gecikmeler saniyeleri bularak trading botlarının işlem kaçırmasına neden olur.
2. QuestDB Mimarisinin Sırrı: ILP, Zero-GC ve Bellek Eşleme
QuestDB, JVM üzerinde çalışmasına rağmen çöp toplayıcı (Garbage Collector) duraklamalarını sıfıra indiren Off-Heap Memory mimarisine sahiptir:
- ILP over TCP: HTTP başlıkları ve JSON ayrıştırma ek yükünü atarak doğrudan InfluxDB Line Protocol formatındaki ikili akışı TCP üzerinden sıfır-kopya (zero-copy) ile karşılar.
- Designated Timestamp & mmap: Verileri zaman sırasına göre bölümlere (partitions) ayırır ve doğrudan Linux çekirdeğinin bellek eşlemeli dosyalarına (mmap) yazar.
- Gorilla & DoubleDelta Sıkıştırma: Zaman damgaları ve ondalıklı fiyatları DoubleDelta ve XOR algoritmalarıyla sıkıştırarak 48 baytlık ham veriyi yalnızca ~5.5 bayta indirir (%88+ disk tasarrufu).
3. SIMD Vektörizasyonu ile Milisaniyede OHLCV Mum Grafikleri
Finansal analizde en sık çalıştırılan sorgu, milyonlarca tick'i 1 dakikalık veya 5 dakikalık mum çubuklarına (Open, High, Low, Close, Volume) indirgemektir.
QuestDB, modern AMD Ryzen ve Intel Xeon işlemcilerin SIMD (Single Instruction Multiple Data - AVX2 / AVX-512) donanım komutlarını kullanarak tek bir CPU çevriminde 8 ila 16 veri noktasını paralel işler. Bu sayede 100 milyon satırlık bir tablo üzerinde SAMPLE BY 1m sorgusu 10 milisaniyenin altında yanıt döner.
4. Yönetilen Bulut (AWS Timestream / InfluxDB Cloud) Maliyet Uçurumu
AWS Timestream ve InfluxDB Cloud gibi yönetilen bulut servisleri yazılan her 1 milyon olay başına ücret ($0.30 - $0.50) tahakkuk ettirir. Saniyede 50.000 veri üreten 24 saatlik bir akış günde 4.3 Milyar, ayda ise 130 Milyar veri üretir.
Bu hacim AWS Timestream üzerinde ayda $35.000 - $65.000 fatura anlamına gelir. Kendi VDS sunucunuz üzerinde ($28 - $55/ay) kurulan QuestDB veya ClickHouse ise bu veriyi neredeyse sıfır ek maliyetle işleyerek yılda yüz binlerce doları şirketinize kazandırır.