Vektör Veritabanları: Pinecone, Weaviate, Chroma Karşılaştırma

Yapay zeka uygulamalarının hızla yaygınlaştığı günümüzde, vektör veritabanları modern AI altyapısının vazgeçilmez bileşenlerinden biri haline geldi. Büyük dil modellerini (LLM) daha akıllı, daha güncel ve daha doğru hale getirmek için kullanılan bu teknoloji, özellikle RAG (Retrieval-Augmented Generation) mimarisinin temel taşını oluşturuyor. Bu kapsamlı rehberde Pinecone, Weaviate, Chroma ve Milvus'u detaylı şekilde karşılaştıracağız.

1. Vektör Veritabanı Nedir?

Vektör veritabanı, verileri yüksek boyutlu vektörler (sayı dizileri) olarak saklayan ve bu vektörler arasında benzerlik araması (similarity search) yapabilen özelleşmiş bir veritabanı türüdür. Geleneksel ilişkisel veritabanlarından temel farkı, verileri tam eşleşme (exact match) yerine anlamsal benzerlik üzerinden sorgulamasıdır.

Örneğin, "İstanbul'da hava nasıl?" sorusuyla "İstanbul'un bugünkü hava durumu nedir?" sorusu kelime bazında farklı olsa da anlamsal olarak birbirine çok yakındır. Vektör veritabanları bu tür anlamsal benzerlikleri yakalayabilir.

Vektör veritabanlarının temel bileşenleri şunlardır:

• Vektör Depolama: Yüksek boyutlu embedding vektörlerinin verimli saklanması
• İndeksleme: HNSW, IVF, PQ gibi algoritmalarla hızlı arama indeksleri
• Benzerlik Metrikleri: Cosine similarity, Euclidean distance, dot product
• Metadata Filtreleme: Vektör aramasını metadata ile birleştirme
• CRUD İşlemleri: Vektörlerin eklenmesi, güncellenmesi ve silinmesi

2. Embedding Kavramı ve Önemi

Embedding, metin, görüntü, ses gibi yapılandırılmamış verilerin sayısal vektörlere dönüştürülmesi işlemidir. Bu dönüşüm sayesinde veriler arasındaki anlamsal ilişkiler matematiksel olarak ifade edilebilir.

Embedding Nasıl Çalışır?

Bir embedding modeli (örneğin OpenAI'nin text-embedding-3-small modeli), metni alır ve onu 1536 boyutlu bir vektöre dönüştürür. Anlamsal olarak benzer metinler, vektör uzayında birbirine yakın konumlanır.

# OpenAI Embedding örneği
from openai import OpenAI
client = OpenAI()

response = client.embeddings.create(
    model="text-embedding-3-small",
    input="Vektör veritabanları yapay zeka için önemlidir"
)

embedding = response.data[0].embedding
print(f"Boyut: {len(embedding)}")  # 1536
print(f"İlk 5 değer: {embedding[:5]}")
# [0.023, -0.041, 0.067, -0.012, 0.089]

Popüler embedding modelleri arasında OpenAI text-embedding-3-large (3072 boyut), Cohere embed-v3, Google Gecko ve açık kaynak BGE-M3 modelleri bulunur. Model seçimi, vektör veritabanı performansını doğrudan etkiler.

3. Neden Vektör Veritabanına İhtiyaç Duyarız?

Geleneksel veritabanları kelime bazlı arama yapar ve anlamsal benzerlikleri yakalayamaz. Ayrıca milyonlarca vektör arasında hızlı benzerlik araması için özel indeksleme yapılarına ihtiyaç vardır. Vektör veritabanlarının kullanıldığı başlıca alanlar:

• RAG Sistemleri: LLM'lere güncel ve özel bilgi sağlama
• Semantik Arama: Anlamsal olarak ilgili sonuçları bulma
• Öneri Sistemleri: Benzer ürün, içerik veya kullanıcı eşleştirme
• Anomali Tespiti: Normal kalıplardan sapmaları belirleme
• Görüntü Arama: Benzer görselleri bulma (CLIP embeddings)
• Soru-Cevap Sistemleri: Bilgi tabanından doğru cevapları getirme

4. Pinecone: Yönetilen Vektör Veritabanı

Pinecone, tamamen yönetilen (fully managed) bir bulut vektör veritabanıdır. 2019 yılında kurulan şirket, altyapı yönetimi gerektirmeden yüksek performanslı vektör araması sunmayı hedefler.

Pinecone'un Güçlü Yönleri

• Sıfır Operasyon: Altyapı, ölçeklendirme ve bakım tamamen Pinecone tarafından yönetilir
• Yüksek Performans: Milyarlarca vektörde milisaniye seviyesinde gecikme
• Serverless Mimari: Kullanıma göre otomatik ölçeklenir, boşta maliyet düşer
• Namespace Desteği: Tek bir indekste mantıksal veri ayrımı
• Hibrit Arama: Sparse-dense vektörleri birleştirerek hem keyword hem semantik arama
• Kolay SDK: Python, Node.js, Go, Java, .NET SDK'ları

Pinecone'un Zayıf Yönleri

• Vendor Lock-in: Tamamen Pinecone'a bağımlılık, self-host seçeneği yok
• Maliyet: Büyük ölçeklerde pahalı olabilir
• Sınırlı Sorgu: Karmaşık filtreleme geleneksel DB'lere göre kısıtlı
• Veri Egemenliği: Veriniz Pinecone'un sunucularında tutulur

5. Weaviate: Açık Kaynak ve Hibrit Arama

Weaviate, Go dilinde yazılmış açık kaynaklı bir vektör veritabanıdır. Hem self-hosted hem de bulut (Weaviate Cloud) seçenekleri sunar. GraphQL tabanlı API'si ve zengin modül ekosistemi ile dikkat çeker.

Weaviate'in Güçlü Yönleri

• Açık Kaynak: BSD-3 lisansı ile tamamen ücretsiz kullanılabilir
• Hibrit Arama: BM25 + vektör aramasını birleştirir
• Modüler Vectorizer: OpenAI, Cohere, HuggingFace modülleri yerleşik
• Multi-Tenancy: Tek bir küme üzerinde izole kiracı yönetimi
• Generative Search: Arama sonuçlarını doğrudan LLM ile işleme
• GraphQL API: Esnek ve güçlü sorgu dili
• RBAC: Rol tabanlı erişim kontrolü

Weaviate'in Zayıf Yönleri

• Kaynak Tüketimi: Self-hosted kurulumda yüksek RAM ihtiyacı
• Öğrenme Eğrisi: GraphQL ve modül sistemi başlangıçta karmaşık gelebilir
• Kümeleme: Dağıtık kurulum yapılandırması karmaşık

6. Chroma: Geliştirici Dostu Hafif Çözüm

Chroma, özellikle LLM uygulamaları için tasarlanmış, Apache 2.0 lisanslı açık kaynak bir vektör veritabanıdır. "AI-native" yaklaşımıyla geliştirici deneyimini ön plana çıkarır ve hızlı prototipleme için idealdir.

Chroma'nın Güçlü Yönleri

• Kolay Kurulum: pip install chromadb ile saniyeler içinde başlayın
• In-Memory Mod: Geliştirme ve test için sunucusuz çalışabilir
• LangChain/LlamaIndex Entegrasyonu: Framework'lerle sorunsuz çalışır
• Otomatik Embedding: Yerleşik embedding fonksiyonları
• Hafif: Minimum kaynak tüketimi, hızlı başlatma
• Python-First: Pythonic API tasarımı

Chroma'nın Zayıf Yönleri

• Ölçeklenebilirlik: Büyük veri setlerinde performans düşüşü
• Production Readiness: Kurumsal düzey özellikler henüz geliştirilmekte
• Dağıtık Mimari: Tek düğüm sınırlaması (cluster desteği geliştiriliyor)
• Sınırlı SDK: Ağırlıklı olarak Python ve JavaScript

7. Milvus: Kurumsal Düzey Performans

Milvus, Zilliz tarafından geliştirilen ve Linux Foundation'a bağışlanan açık kaynaklı bir vektör veritabanıdır. Kurumsal ölçekte milyarlarca vektörü yönetebilecek şekilde tasarlanmıştır. Bulut versiyonu Zilliz Cloud olarak sunulur.

Milvus'un Güçlü Yönleri

• Yüksek Ölçeklenebilirlik: Milyarlarca vektör desteği, dağıtık mimari
• GPU Hızlandırma: NVIDIA GPU ile indeksleme ve arama hızlandırma
• Çoklu İndeks: HNSW, IVF_FLAT, IVF_PQ, SCANN gibi çeşitli indeks türleri
• Milvus Lite: Hafif versiyon ile yerel geliştirme
• Gelişmiş Filtreleme: Karmaşık boolean ifadelerle metadata filtreleme
• Çoklu Dil Desteği: Python, Java, Go, Node.js, C++ SDK

Milvus'un Zayıf Yönleri

• Karmaşık Kurulum: Full deployment için etcd, MinIO, Pulsar gerektirir
• Yüksek Kaynak İhtiyacı: Minimum donanım gereksinimleri yüksek
• Öğrenme Eğrisi: Konfigürasyon seçenekleri geniş ve karmaşık

8. Kapsamlı Karşılaştırma Tablosu

9. Performans Karşılaştırması

Performans karşılaştırması yapılırken veri seti boyutu, sorgu gecikme süresi, indeksleme hızı ve bellek kullanımı gibi metrikler dikkate alınmalıdır. Aşağıda 1 milyon 768-boyutlu vektör üzerinde yapılan tipik benchmark sonuçları verilmiştir:

10. Fiyatlandırma Analizi

Maliyet karşılaştırması, özellikle üretim ortamında kritik bir karar faktörüdür. Her platformun farklı fiyatlandırma modeli bulunmaktadır:

Pinecone Fiyatlandırması

• Ücretsiz Plan: 100K vektör, 1 indeks, 1 proje
• Starter: Aylık ~$70 başlangıç
• Standard/Enterprise: Kullanıma göre fiyatlandırma, serverless modda okuma/yazma birimi bazlı

Weaviate Fiyatlandırması

• Self-Hosted: Tamamen ücretsiz (altyapı maliyeti hariç)
• Weaviate Cloud Sandbox: 14 gün ücretsiz deneme
• Weaviate Cloud Serverless: Depolama ve hesaplama bazlı fiyatlandırma

Chroma Fiyatlandırması

• Self-Hosted: Tamamen ücretsiz
• Chroma Cloud: Kullanıma göre fiyatlandırma (yeni çıktı)
• Yerel Kullanım: Hiçbir maliyet yok

Milvus Fiyatlandırması

• Self-Hosted: Tamamen ücretsiz
• Zilliz Cloud Free: 1 koleksiyon, 500K vektör
• Zilliz Cloud Standard: Compute unit bazlı fiyatlandırma

11. RAG Entegrasyonu

RAG (Retrieval-Augmented Generation), LLM'lerin halüsinasyonlarını azaltmak ve güncel bilgilere erişimini sağlamak için kullanılan en popüler mimaridir. Vektör veritabanları RAG'ın temel bileşenidir.

RAG İş Akışı

1. Belge İşleme: Belgeler chunk'lara (parçalara) bölünür
2. Embedding Oluşturma: Her chunk embedding modeli ile vektöre dönüştürülür
3. Vektör Depolama: Vektörler metadata ile birlikte veritabanına kaydedilir
4. Sorgu: Kullanıcı sorusu da vektöre dönüştürülür
5. Arama: En benzer chunk'lar vektör veritabanından getirilir
6. Yanıt Oluşturma: Bulunan chunk'lar LLM'e bağlam olarak verilir

# LangChain ile RAG örneği (Pinecone)
from langchain_openai import OpenAIEmbeddings, ChatOpenAI
from langchain_pinecone import PineconeVectorStore
from langchain.chains import RetrievalQA

embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = PineconeVectorStore(
    index_name="my-index",
    embedding=embeddings
)

llm = ChatOpenAI(model="gpt-4o", temperature=0)
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(search_kwargs={"k": 5}),
    return_source_documents=True
)

result = qa_chain.invoke({"query": "Vektör veritabanı nedir?"})
print(result["result"])

12. Kod Örnekleri

Pinecone ile Vektör Ekleme ve Arama

from pinecone import Pinecone

pc = Pinecone(api_key="YOUR_API_KEY")
index = pc.Index("my-index")

# Vektör ekleme
index.upsert(
    vectors=[
        {
            "id": "doc1",
            "values": [0.1, 0.2, 0.3, ...],  # 1536 boyutlu vektör
            "metadata": {"source": "blog", "topic": "ai"}
        },
        {
            "id": "doc2",
            "values": [0.4, 0.5, 0.6, ...],
            "metadata": {"source": "docs", "topic": "ml"}
        }
    ],
    namespace="articles"
)

# Benzerlik araması
results = index.query(
    vector=[0.15, 0.25, 0.35, ...],
    top_k=5,
    include_metadata=True,
    namespace="articles",
    filter={"topic": {"$eq": "ai"}}
)

for match in results["matches"]:
    print(f"ID: {match['id']}, Skor: {match['score']:.4f}")

Weaviate ile Koleksiyon ve Arama

import weaviate
from weaviate.classes.config import Configure, Property, DataType

client = weaviate.connect_to_local()

# Koleksiyon oluşturma
collection = client.collections.create(
    name="Article",
    vectorizer_config=Configure.Vectorizer.text2vec_openai(),
    properties=[
        Property(name="title", data_type=DataType.TEXT),
        Property(name="content", data_type=DataType.TEXT),
        Property(name="category", data_type=DataType.TEXT),
    ]
)

# Veri ekleme (otomatik embedding)
articles = client.collections.get("Article")
articles.data.insert({
    "title": "Vektör Veritabanı Nedir?",
    "content": "Vektör veritabanları, yüksek boyutlu...",
    "category": "teknoloji"
})

# Semantik arama
response = articles.query.near_text(
    query="yapay zeka veritabanı",
    limit=5,
    filters=weaviate.classes.query.Filter.by_property("category").equal("teknoloji")
)

for obj in response.objects:
    print(f"Title: {obj.properties['title']}")

Chroma ile Hızlı Başlangıç

import chromadb

# In-memory client (geliştirme için)
client = chromadb.Client()

# Kalıcı depolama için:
# client = chromadb.PersistentClient(path="./chroma_db")

# Koleksiyon oluştur
collection = client.create_collection(
    name="my_documents",
    metadata={"hnsw:space": "cosine"}
)

# Belge ekleme (otomatik embedding)
collection.add(
    documents=[
        "Vektör veritabanları AI için önemlidir",
        "Python en popüler programlama dilidir",
        "Makine öğrenmesi veri biliminin alt dalıdır"
    ],
    metadatas=[
        {"source": "blog"},
        {"source": "article"},
        {"source": "textbook"}
    ],
    ids=["doc1", "doc2", "doc3"]
)

# Sorgu
results = collection.query(
    query_texts=["yapay zeka ve veritabanı"],
    n_results=2,
    where={"source": "blog"}
)

print(results["documents"])
print(results["distances"])

Milvus ile Koleksiyon Yönetimi

from pymilvus import MilvusClient

client = MilvusClient("milvus_demo.db")  # Milvus Lite

# Koleksiyon oluştur
client.create_collection(
    collection_name="articles",
    dimension=1536
)

# Veri ekleme
data = [
    {"id": 1, "vector": [0.1, 0.2, ...], "text": "AI veritabanı", "category": "tech"},
    {"id": 2, "vector": [0.3, 0.4, ...], "text": "Web geliştirme", "category": "dev"},
]
client.insert(collection_name="articles", data=data)

# Arama
results = client.search(
    collection_name="articles",
    data=[[0.15, 0.25, ...]],
    limit=5,
    output_fields=["text", "category"],
    filter='category == "tech"'
)

for hits in results:
    for hit in hits:
        print(f"ID: {hit['id']}, Mesafe: {hit['distance']:.4f}")

13. Kullanım Senaryoları ve Öneriler

Her vektör veritabanı farklı senaryolarda öne çıkmaktadır. İşte duruma göre önerilerimiz:

14. Sıkça Sorulan Sorular

Vektör veritabanları, yapay zeka uygulamalarının olmazsa olmazı haline gelmiştir. Doğru seçim, projenizin ölçeğine, bütçenize, teknik ekibinizin deneyimine ve veri egemenliği gereksinimlerinize bağlıdır. Bu rehberin sizin için doğru vektör veritabanını seçmenize yardımcı olacağını umuyoruz.