2026 itibarıyla yapay zeka altyapıları, yalnızca model geliştirme ve dağıtımdan ibaret olmaktan çıktı. Büyük dil modelleri (LLM'ler) ve onlara dayanan uygulamalar, sürekli izleme, otomasyon ve güvenlik gerektiren işletme sınıfı hizmetler haline geldi. Bu rehberde MLOps'tan AIOps'a geçiş yaparken operasyonel sürekliliği sağlamak ve gözlemlenebilirliği artırmak için gerekli pratikleri, metrikleri, araçları ve mimari desenleri ele alacağız.
Neden MLOps yeterli değil? AIOps'a doğru evrilme
MLOps, model yaşam döngüsünü (versioning, CI/CD, retraining) standartlaştırdı. Ancak LLM tabanlı sistemler gerçek zamanlı kullanıcı geri bildirimi, güvenlik riskleri, maliyet dalgalanmaları ve anlamsal sürüklenme (semantic drift) gibi yeni operasyonel zorluklar getiriyor. AIOps ise bu zorlukları otomatik tespit, root cause analizi, kendi kendini onarma ve geri besleme döngüleri ile ele alır. Kısaca AIOps, modele özgü telafi ve yönetim süreçlerini işletme seviyesine taşır.
Operasyonel süreklilik için temel bileşenler
LLM ortamlarında operasyonel sürekliliği sağlamak için aşağıdaki katmanlar gereklidir:
- Servis ve altyapı izleme: GPU/TPU kullanımı, kuyruk uzunlukları, latency, autoscaler metrikleri.
- Model gözlemlenebilirliği: input/output dağılımları, embedding drift, hallucination oranları, güven skorları.
- Veri ve retrieval izleme: retrieval precision, vector DB performansı, RAG kaynak doğruluğu.
- Güvenlik ve uyumluluk: model card, audit logları, üçüncü taraf veri politikaları, EU AI Act uyumu.
- Olay yönetimi ve otomasyon: anomali tespiti, canary/rollback, self-healing playbook'ları.
Gözlemlenebilirliğin dört sütunu: Logs, Metrics, Traces, Artifacts
Modern uygulamalarda olduğu gibi LLM sistemlerinde de temel gözlemlenebilirlik sütunları geçerlidir, ancak içerikleri LLM'e özgüdür:
Logs (Kayıtlar)
Prompt geçmişi, retrieval context, model hata kodları, güvenlik ve audit kayıtları. GDPR ve veri gizliliği nedeniyle hassas alanları maskeleme politikaları uygulanmalı.
Metrics (Metrikler)
Örnek metrikler: p99 latency, token throughput, token maliyeti, hallucination rate, safe-completion rate, semantic drift score, retriever precision@k.
Traces (İzler)
İstek izleri; prompt -> retrieval -> model inferans -> post-processing adımlarının uçtan uca takip edilmesi. OpenTelemetry gibi standartlar 2025-2026'da AI izleme semantiklerini genişletti ve prompt/embedding span'ları tanımlandı.
Artifacts (Artefaktlar)
Model versiyonları, fine-tune checkpoint'leri, tokenizer metadata, embeddings snapshot'ları ve test suite sonuçları. Bu varlıkların kayıtlı olması, geri dönülebilirlik ve adli inceleme için kritik.
SLO/SLI tanımları: Ne ölçmelisiniz?
LLM uygulamaları için örnek SLI ve SLO'lar:
- Latency SLI: 95% istek <= 800ms. SLO: aylık %99.
- Availability SLI: endpoint healthy. SLO: %99.9.
- Hallucination SLI: doğruluk kontrolü yapılan örneklerde yanlış bilgi oranı. SLO: < %2 (kritik uygulamalarda daha düşük hedef).
- Cost SLI: tokens başına maliyet. SLO: belirlenen bütçe sınırları içinde.
- Drift SLI: embedding cosine similarity dağılım değişimi. SLO: ay içinde belirlenen toleransın aşılmaması.
Canary ve gölge dağıtımlar: Riskleri azaltma
Yeni model versiyonları için canary testleri, gölge trafiği (shadow traffic) ve A/B deneyleri kritik. Bunlar otomatik metrik karşılaştırmalarıyla bağlanmalı; eğer hallucination rate artarsa veya latency bozulursa otomatik rollback tetiklenmeli. 2026'da birçok platform, canary sonuçlarını doğrudan AIOps playbook'larına bağlayarak insan müdahalesini gerektirmeden kısmi geri alma yeteneği sunuyor.
Drift, veri kalitesi ve sürekli doğrulama
Semantic drift ve veri dağılım değişiklikleri düzenli olarak izlenmeli. Embedding snapshot'ları periyodik olarak yeni verilerle karşılaştırılmalı. Ayrıca adversarial test setleri ile sürekli doğrulama yapılmalı. Otomatik retraining tetikleyicileri, yeni veri veya performans düşüşü algılandığında devreye girmeli.
Güvenlik, adli izleme ve uyumluluk
2026'da EU AI Act ve diğer düzenlemeler üretici ve sağlayıcılar için belgelendirme ve şeffaflık zorunlulukları getiriyor. Model card'lar, risk değerlendirmeleri ve kayıtlı insan denetim süreçleri zorunlu hale geldi. Ayrıca girişteki hassas bilgi tespiti, çıkış filtresi ve content policies operasyonel piping'in parçası olmalı.
Maliyet optimizasyonu ve verimli inference
LLM operasyonlarında maliyet optimizasyonu, sürdürülebilirlik için hayati. Quantization, distillation, parameter-efficient fine-tuning (PEFT), batching, dynamic padding ve konteyner bazlı GPU paylaşımı gibi teknikler uygulanmalı. Ayrıca spot instance'lar, serverless GPU çözümleri ve multi-tenant inference stratejileri maliyet kontrolünde kullanılıyor.
Tavsiye edilen araçlar ve mimari bileşenler (2026 perspektifi)
- Orchestration: Ray Serve, KServe, MLflow entegrasyonları.
- Observability: OpenTelemetry (AI semantic conventions), Prometheus, Grafana, Honeycomb, Datadog AIOps, Splunk Observability.
- Model monitoring: Arize, WhyLabs, Evidently, Fiddler AI.
- Retrieval ve vector DB: Pinecone, Milvus, Weaviate, Qdrant.
- LLM tooling: LangChain, LlamaIndex, Hugging Face Inference, Seldon Core, BentoML.
- Governance ve veri katalogu: Feast, Soda, Collibra tipi çözümlerle entegrasyon.
Pratik kontrol listesi (Checklist)
- Her model ve endpoint için SLO/SLI belirle.
- Prompt ve retrieval pipeline'ını uçtan uca trace et ve sakla.
- Embedding snapshot'ları al, drift alarmları kur.
- Canary/Shadow dağıtımlar ve otomatik rollback playbook'ları hazırla.
- Maliyet metriklerini (tokens, GPU saatleri) gerçek zamanlı izle ve maliyet alarmları oluştur.
- Audit loglama, model card ve explainability artefaktlarını sakla.
- Otomatik retrain tetikleyicileri ve insan onay süreçlerini dengede tut.
Sonuç: Operasyonel kültür ve insan-sistem ortaklığı
MLOps'tan AIOps'a geçiş yalnızca teknoloji değil kültürel bir değişimdir. Operasyon ekipleri, veri mühendisleri, ML mühendisleri ve güvenlik ekipleri arasında sıkı iletişim, playbook'ların ve otomasyonun ortak bir dili şart. 2026'da başarılı organizasyonlar, LLM operasyonlarını üretim sistemleri kadar olgunlaştırmış ve gözlemlenebilirliği merkezine yerleştirmiş olanlardır. Bu rehber, başlangıç noktası olarak kullanılabilir; uygulamaya özgü talepler ve düzenleyici gereksinimler doğrultusunda özelleştirme yapılmalıdır.
