Veri Orkestrasyonunda Üç Büyükler: Mimari Karşılaştırma
Modern veri yığınında (Modern Data Stack) boru hatlarının zamanlanması ve bağımlılıkların yönetimi hayati önemdedir:
- Apache Airflow: 10 yılı aşkın süredir endüstri standardıdır. Zengin sağlayıcı (provider) ekosistemi, güçlü topluluğu ve olgun web arayüzüyle öne çıkar. Ancak dosya tarama döngüsü (DAG parsing loop) ve statik grafik yapısı yüksek CPU harcar.
- Prefect: Saf Pythonik felsefeyle geliştirilmiştir. Kodunuzu karmaşık operatörlerle sarmak yerine standart Python fonksiyonlarına
@flowve@taskekleyerek çalıştırırsınız. Dinamik akışlar ve hafif API tasarımı sunar. - Dagster: "Görev" odaklı değil, "Veri Varlığı" (Software-Defined Assets) odaklıdır. Tabloların, modellerin (dbt) ve makine öğrenmesi modellerinin birbirine nasıl dönüştüğünü takip eder; otomatik veri soy ağacı (lineage) ve bölümleme desteği sağlar.
CeleryExecutor vs KubernetesExecutor Boyutlandırması
Airflow kümesi boyutlandırılırken seçilen çalıştırıcı (executor) bellek ve veritabanı ihtiyacını doğrudan belirler:
CeleryExecutor: Redis/RabbitMQ aracılığıyla çalışan kalıcı işçiler (celery workers) kullanır. İşçi süreçleri önceden başlatıldığı için görevler milisaniyeler içinde çalışmaya başlar. Ancak işçiler boşta beklerken de RAM harcar.KubernetesExecutor: Her görev için yeni bir pod açar. Yüksek bellek tüketen ağır Python/PySpark görevleri için mükemmel izolasyon sunar ve iş bittiğinde kaynakları serbest bırakır.
Maliyet Karşılaştırması: AWS MWAA / Astronomer vs Self-Hosted VDS
| Kriter | AWS MWAA (Medium) | Astronomer Astro | Self-Hosted VDS (Airflow/Prefect) |
|---|---|---|---|
| Aylık Taban Ücret | ~$720 / ay (Saatlik ortam) | ~$800 - $1,500 / ay | Sabit VDS Kirası ($70 - $120/ay) |
| Worker Ölçekleme | Ekstra saatlik ücretlendirme | Astro Compute Unit (ACU) | VDS donanımı dahilinde sınırsız |
| Özel Python Bağımlılıkları | requirements.txt (15-20 dk derleme) | Docker tabanlı dağıtım | Anında Docker imaj derlemesi |
| Yıllık Altyapı Maliyeti | ~$10,000 - $18,000 / yıl | ~$15,000 - $30,000 / yıl | ~$1,020 / yıl (%85+ Tasarruf) |
Sıkça Sorulan Sorular (SSS)
Airflow CeleryExecutor ile KubernetesExecutor arasındaki temel fark nedir?
CeleryExecutor sürekli çalışan işçi süreçlerine Redis kuyruğu üzerinden görev dağıtır; başlatma gecikmesi düşüktür ancak işçiler boşta da RAM harcar. KubernetesExecutor ise her görev için ayrı geçici Pod başlatır; izolasyon mükemmeldir ve boşta bellek harcamaz ancak Pod başlatma ek gecikme yaratır.
Airflow Scheduler neden çok fazla CPU tüketir ve nasıl optimize edilir?
Scheduler DAG dizinindeki Python dosyalarını sürekli içe aktararak tarar. AIRFLOW__SCHEDULER__MIN_FILE_PROCESS_INTERVAL (30s) ve AIRFLOW__SCHEDULER__DAG_DIR_LIST_INTERVAL (60s) parametreleri artırılarak CPU tüketimi %50-70 oranında düşürülebilir.
Prefect ve Dagster, Apache Airflow'a kıyasla hangi avantajları sunar?
Prefect saf Python dekoratörleriyle dinamik akışları destekler ve scheduler döngüsü olmadığı için daha az kaynak tüketir. Dagster ise Software-Defined Assets yaklaşımıyla veri soy ağacı (lineage) ve bölümleme takibinde rakipsizdir.
AWS MWAA veya Astronomer yerine self-hosted VDS kurmak ne kadar tasarruf sağlar?
AWS MWAA saatlik ortam ücretiyle ayda $800 - $1,800 fatura çıkarır. VDS üzerinde çalışan açık kaynaklı Airflow veya Prefect kümesi sabit $70 - $120/ay sunucu kirasıyla koşturularak %85 - %95 net tasarruf sağlar.