Federated Learning ve Differential Privacy Rehberi

Veri gizliliği, dijital çağın en kritik konularından biri haline gelmiştir. Yapay zeka modellerinin eğitimi büyük miktarda veriye ihtiyaç duyarken, bu verilerin merkezileştirilmesi ciddi gizlilik riskleri oluşturmaktadır. Federated Learning (Federatif Öğrenme) ve Differential Privacy (Diferansiyel Gizlilik) bu probleme matematiksel güvenceler sunan çığır açıcı teknolojilerdir. Bu kapsamlı rehberde, her iki teknolojinin teorik temellerinden pratik uygulamalarına kadar tüm detayları keşfedeceksiniz.

1. Federated Learning Nedir?

Federated Learning, Google tarafından 2016 yılında McMahan ve arkadaşlarının öncü çalışmasıyla tanıtılan bir dağıtık makine öğrenmesi yaklaşımıdır. Geleneksel makine öğrenmesi yaklaşımlarından temel farkı, verilerin merkezi bir sunucuya gönderilmeden, verilerin bulunduğu cihazlarda yerel olarak model eğitimi yapılmasıdır.

Geleneksel yaklaşımda tüm veriler tek bir merkeze toplanır ve orada model eğitilir. Bu yöntem, GDPR, KVKK gibi veri koruma düzenlemeleriyle uyumsuzluk, veri ihlali riskleri ve devasa veri transfer maliyetleri gibi sorunlar yaratır. Federated Learning, "veriyi modele getirmek yerine modeli veriye götürme" prensibini benimser.

Geleneksel ML vs Federated Learning

2. Federated Learning Nasıl Çalışır?

Federated Learning süreci, merkezi bir koordinatör sunucu ile çok sayıda katılımcı cihaz arasında iteratif bir iletişim protokolüdür. Her iterasyona round (tur) adı verilir ve temel olarak beş aşamadan oluşur:

Adım Adım FL Süreci

Adım 1 - Model İnisiyalizasyonu: Merkezi sunucu, global bir model oluşturur ve başlangıç ağırlıklarını (w₀) belirler. Bu model mimarisi tüm katılımcılara iletilir.

Adım 2 - İstemci Seçimi: Her turda, mevcut istemcilerin bir alt kümesi rastgele seçilir. Bu seçim, cihazın şarj durumunda olması, Wi-Fi bağlantısı ve boşta olma gibi kriterlere göre yapılabilir.

Adım 3 - Yerel Eğitim: Seçilen her istemci, kendi yerel verisi üzerinde modeli birkaç epoch boyunca eğitir. Bu aşamada SGD (Stochastic Gradient Descent) veya Adam gibi optimizasyon algoritmaları kullanılır.

Adım 4 - Gradyan Paylaşımı: Her istemci, yerel eğitimden elde ettiği model güncellemelerini (gradyanları veya güncellenmiş ağırlıkları) merkezi sunucuya gönderir. Ham veri asla paylaşılmaz.

Adım 5 - Aggregation (Birleştirme): Merkezi sunucu, tüm istemcilerden gelen güncellemeleri birleştirir. En yaygın yöntem FedAvg (Federated Averaging) algoritmasıdır.

FedAvg Algoritması

// FedAvg Pseudocode
Sunucu:
  w₀ ← rastgele başlangıç ağırlıkları
  for each round t = 1, 2, ... do
    S_t ← rastgele istemci alt kümesi seç (m adet)
    for each istemci k ∈ S_t (paralel) do
      w_k^{t+1} ← İstemciGüncellemesi(k, w_t)
    end for
    w_{t+1} ← Σ (n_k / n) * w_k^{t+1}  // ağırlıklı ortalama
  end for

İstemciGüncellemesi(k, w):
  B ← yerel veriyi mini-batch'lere böl
  for each epoch i = 1 to E do
    for each batch b ∈ B do
      w ← w - η * ∇L(w; b)
    end for
  end for
  return w

Burada n_k istemci k'daki veri noktası sayısını, n toplam veri noktası sayısını ve η öğrenme hızını temsil eder.

3. Federated Learning Türleri

Yatay Federated Learning (HFL)

En yaygın FL türüdür. Tüm katılımcılar aynı özellik uzayına (feature space) sahiptir ancak farklı veri örneklerine sahiptir. Örneğin, farklı şehirlerdeki iki banka aynı tür müşteri verisine (yaş, gelir, kredi skoru) sahipken, farklı müşterilere hizmet verir. Google'ın Gboard klavye uygulaması bu türün en bilinen örneğidir.

Dikey Federated Learning (VFL)

Katılımcılar aynı kullanıcı tabanına sahipken, farklı özellik setlerine sahiptir. Bir banka ile bir e-ticaret platformunun aynı kullanıcılar hakkında farklı bilgilere sahip olması buna örnektir. Banka finansal verilere, e-ticaret sitesi ise alışveriş davranışlarına sahiptir. Bu iki veri seti, kullanıcı kimliği üzerinden eşleştirilerek daha zengin bir model eğitilebilir.

Federated Transfer Learning (FTL)

Katılımcılar hem farklı özellik uzaylarına hem de farklı veri örneklerine sahip olduğunda kullanılır. Transfer öğrenme teknikleri ile bilgi aktarımı yapılarak, küçük veri setlerine sahip katılımcıların da fayda görmesi sağlanır.

4. Differential Privacy Kavramı

Differential Privacy (DP), Cynthia Dwork tarafından 2006 yılında formalize edilen matematiksel bir gizlilik çerçevesidir. Temel fikir şudur: bir algoritmanın çıktısı, veri setinde herhangi bir bireyin verisi olsun ya da olmasın, yaklaşık olarak aynı kalmalıdır. Bu sayede, algoritmanın çıktısından herhangi bir bireyin bilgisi çıkarılamaz.

// Formal Tanım
Bir rastgele algoritma M, (ε, δ)-differentially private'tir
eğer ve sadece eğer, herhangi iki komşu veri seti D₁ ve D₂ için
ve tüm olası çıktı kümeleri S ⊆ Range(M) için:

  Pr[M(D₁) ∈ S] ≤ e^ε · Pr[M(D₂) ∈ S] + δ

Burada "komşu veri setleri" en fazla bir kayıtla farklılık gösteren veri setlerini ifade eder. Bu tanım, bir kişinin verisinin dahil edilmesinin veya çıkarılmasının algoritmanın çıktı dağılımını önemli ölçüde değiştirmemesini garanti eder.

DP Mekanizmaları

Laplace Mekanizması: Sayısal sorguların sonuçlarına Laplace dağılımından çekilen gürültü ekler. Gürültü miktarı, sorgunun hassasiyeti (sensitivity) ve epsilon değerine bağlıdır. f(D) + Lap(Δf/ε) formülü ile hesaplanır.

Gaussian Mekanizması: Laplace yerine Gaussian dağılımından gürültü ekler. (ε, δ)-DP sağlar ve δ > 0 olmasını gerektirir. Yüksek boyutlu verilerde daha iyi performans gösterir.

Exponential Mekanizması: Sayısal olmayan çıktılar için kullanılır. Bir fayda fonksiyonu tanımlanır ve çıktılar bu fonksiyona göre ağırlıklı olarak seçilir.

5. Epsilon-Delta Framework

Epsilon (ε) ve delta (δ) parametreleri, differential privacy'nin gizlilik garantisinin gücünü kontrol eden iki temel parametredir. Bu iki parametreyi doğru anlamak, etkili bir gizlilik stratejisi oluşturmanın temelidir.

Epsilon (ε) - Gizlilik Bütçesi

Epsilon, gizlilik kaybının üst sınırını belirler. Düşük epsilon, daha güçlü gizlilik anlamına gelir ancak veri kullanışlılığını azaltır. Yüksek epsilon ise daha az gizlilik garantisi sunar ama sonuçlar daha doğru olur.

Delta (δ) - Başarısızlık Olasılığı

Delta, gizlilik garantisinin ihlal edilme olasılığının üst sınırıdır. Genellikle çok küçük bir değer olarak seçilir (örneğin 10⁻⁵). δ = 0 olduğunda "pure DP", δ > 0 olduğunda "approximate DP" olarak adlandırılır. Pratikte δ < 1/n (n: veri seti boyutu) olması önerilir.

Composition Teoremleri

Birden fazla DP mekanizması ardışık olarak uygulandığında, toplam gizlilik bütçesi artar. Bu konuda üç önemli composition teoremi vardır:

Basit Composition: k adet (ε, δ)-DP mekanizmanın birleşimi (kε, kδ)-DP'dir. Basit ama pessimistik bir üst sınır sağlar.

Advanced Composition: k adet (ε, δ)-DP mekanizma için daha sıkı sınırlar sunar: (ε√(2k·ln(1/δ')), kδ + δ')-DP.

Rényi DP ve Moments Accountant: En sıkı gizlilik takibini sağlayan modern yaklaşımlardır. Özellikle derin öğrenme uygulamalarında tercih edilir.

6. FL ve DP Entegrasyonu

Federated Learning tek başına tam gizlilik garantisi sağlamaz. Ham gradyanlardan orijinal veriye yaklaşık olarak ulaşılabileceği gösterilmiştir (gradient inversion saldırıları). Bu nedenle FL ile DP'nin birlikte kullanılması kritik önem taşır.

DP-FedAvg Algoritması

DP-FedAvg, standart FedAvg algoritmasına iki ek adım ekler:

// DP-FedAvg
Sunucu (her tur t için):
  1. S_t ← rastgele m istemci seç
  2. Her istemci k için:
     Δw_k ← İstemciGüncellemesi(k, w_t)
     Δw_k ← clip(Δw_k, C)  // Gradient Clipping
  3. Δw_avg ← (1/m) * Σ Δw_k
  4. Δw_noisy ← Δw_avg + N(0, σ²C²I/m²)  // Gürültü Ekleme
  5. w_{t+1} ← w_t + Δw_noisy

Gradient Clipping: Her istemcinin gradyan normunu C değerine kırparak, tek bir istemcinin modele olan etkisini sınırlar. Bu, DP'nin gerektirdiği "bounded sensitivity" koşulunu sağlar.

Gürültü Ekleme: Clipping sonrası birleştirilmiş gradyana Gaussian gürültüsü eklenir. Gürültü miktarı σ, hedef (ε, δ) değerlerine göre kalibre edilir.

7. Kullanım Senaryoları

Sağlık Sektörü

Sağlık alanı, FL ve DP'nin en kritik uygulama alanlarından biridir. Tıbbi veriler son derece hassastır ve HIPAA, GDPR gibi katı düzenlemelere tabidir. FL sayesinde hastaneler, hasta verilerini paylaşmadan kolektif olarak teşhis modelleri geliştirebilir.

Radyoloji AI: Farklı hastanelerdeki röntgen ve MR görüntüleri üzerinde eğitilen modeller, nadir hastalıkların tespitinde tek bir hastanenin verisinden çok daha başarılı olabilir. Intel ve Penn Medicine'in ortak çalışmasında, 29 hastaneden FL ile eğitilen beyin tümörü segmentasyon modeli, merkezi eğitimle karşılaştırılabilir performans göstermiştir.

İlaç Keşfi: Farmasötik şirketler, klinik deneme verilerini paylaşmadan ortak modeller eğiterek ilaç-hedef etkileşimlerini tahmin edebilir. MELLODDY projesi, 10 büyük ilaç şirketinin FL ile işbirliği yaptığı öncü bir örnektir.

Giyilebilir Cihazlar: Akıllı saatler ve fitness takipçilerinden gelen sağlık verilerinin FL ile analiz edilmesi, kişiselleştirilmiş sağlık önerileri sunulmasını mümkün kılar.

Finans Sektörü

Finansal kurumlar, dolandırıcılık tespiti, kredi skorlama ve kara para aklama önleme gibi kritik görevlerde FL'den faydalanabilir. Bankalar arası veri paylaşımı düzenleyici kısıtlamalar nedeniyle mümkün olmazken, FL bu engeli aşar.

Dolandırıcılık Tespiti: Her banka kendi müşteri işlem verisi üzerinde yerel modeller eğitir ve gradyanları paylaşır. Sonuçta ortaya çıkan global model, tüm bankaların deneyiminden yararlanarak daha sofistike dolandırıcılık kalıplarını tespit eder.

Kredi Risk Değerlendirmesi: Farklı finansal kuruluşların kredi geçmişi verileri, VFL yaklaşımıyla birleştirilerek daha kapsamlı risk modelleri oluşturulabilir.

Mobil Uygulamalar

Mobil cihazlar, FL'nin en doğal uygulama ortamıdır. Milyarlarca akıllı telefon, sürekli olarak kullanıcı etkileşim verisi üretir ve bu veriler cihazda kalarak model eğitimine katkıda bulunabilir.

Google Gboard: Klavye önerilerini iyileştirmek için FL kullanır. Kullanıcıların yazdığı metinler Google sunucularına gönderilmez; bunun yerine yerel olarak eğitilen model güncellemeleri güvenli aggregation ile birleştirilir.

Apple Siri: Sesli asistan önerilerini kişiselleştirmek için cihaz üzerinde FL ve DP kombinasyonu kullanır. Apple, ε = 2-8 aralığında epsilon değerleri ile güçlü gizlilik garantileri sağlar.

Otonom Araçlar: Farklı coğrafyalardaki araçlar, sürüş verilerini paylaşmadan kolektif olarak otonom sürüş modellerini iyileştirebilir.

8. Araçlar ve Kütüphaneler

PySyft

PySyft, OpenMined topluluğu tarafından geliştirilen açık kaynaklı bir kütüphanedir. PyTorch üzerine inşa edilmiştir ve federated learning, differential privacy ve secure multi-party computation desteği sunar.

# PySyft ile basit FL örneği
import syft as sy
import torch

# Sanal istemciler oluştur
alice = sy.VirtualMachine(name="alice")
bob = sy.VirtualMachine(name="bob")

alice_client = alice.get_root_client()
bob_client = bob.get_root_client()

# Veriyi istemcilere gönder
data_alice = torch.tensor([1.0, 2.0, 3.0])
data_bob = torch.tensor([4.0, 5.0, 6.0])

ptr_alice = data_alice.send(alice_client)
ptr_bob = data_bob.send(bob_client)

# Federated ortalama hesapla
mean_alice = ptr_alice.mean()
mean_bob = ptr_bob.mean()

TensorFlow Federated (TFF)

TFF, Google tarafından geliştirilen ve TensorFlow ekosistemiyle entegre çalışan bir FL framework'üdür. İki ana API sunar: Federated Learning API (yüksek seviye) ve Federated Core API (düşük seviye).

# TFF ile Federated Learning
import tensorflow_federated as tff

# Model fonksiyonu tanımla
def model_fn():
    model = tf.keras.Sequential([
        tf.keras.layers.Dense(10, activation='relu'),
        tf.keras.layers.Dense(1, activation='sigmoid')
    ])
    return tff.learning.models.from_keras_model(
        model,
        input_spec=input_spec,
        loss=tf.keras.losses.BinaryCrossentropy()
    )

# DP ile Federated Averaging
trainer = tff.learning.algorithms.build_weighted_fed_avg(
    model_fn,
    client_optimizer_fn=lambda: tf.keras.optimizers.SGD(0.01),
    server_optimizer_fn=lambda: tf.keras.optimizers.SGD(1.0),
    model_aggregator=tff.learning.robust_aggregator(
        zeroing=True,
        clipping=True
    )
)

FLUTE (Federated Learning Utilities and Tools for Experimentation)

FLUTE, Microsoft Research tarafından geliştirilen yüksek performanslı bir FL simülasyon platformudur. Büyük ölçekli deneyleri hızlı bir şekilde çalıştırmak için tasarlanmıştır ve YAML tabanlı konfigürasyon, çoklu GPU desteği ve yerleşik DP mekanizmaları sunar.

Diğer Önemli Araçlar

9. İmplementasyon Rehberi

Bir FL + DP projesi başlatırken izlenecek adımları aşağıda detaylı olarak ele alıyoruz.

Adım 1: Gereksinim Analizi

Öncelikle projenizin FL'ye uygun olup olmadığını değerlendirin. Veriler birden fazla kuruluşa veya cihaza mı dağıtılmış? Veri paylaşımını engelleyen düzenleyici veya ticari kısıtlamalar var mı? İletişim altyapısı yeterli mi? Bu soruların cevabı "evet" ise FL uygun bir yaklaşımdır.

Adım 2: FL Türü Seçimi

Veri dağılımına göre HFL, VFL veya FTL'den birini seçin. Aynı özellik uzayındaki veriler HFL ile, aynı kullanıcılar üzerindeki farklı özellikler VFL ile ele alınır.

Adım 3: Gizlilik Parametrelerini Belirleme

# Gizlilik bütçesi hesaplama örneği
from opacus.accountants import RDPAccountant

accountant = RDPAccountant()

# Her eğitim adımı için gizlilik maliyetini kaydet
for epoch in range(num_epochs):
    accountant.step(
        noise_multiplier=1.0,   # σ
        sample_rate=batch_size/len(dataset)  # q
    )

# Toplam epsilon değerini kontrol et
epsilon = accountant.get_epsilon(delta=1e-5)
print(f"Toplam ε: {epsilon:.2f}")

Adım 4: Model Mimarisi ve Eğitim

FL'de model mimarisi, iletişim maliyetlerini doğrudan etkiler. Büyük modeller daha fazla gradyan transferi gerektirir. Model sıkıştırma teknikleri (gradient compression, quantization, federated distillation) ile iletişim maliyetleri düşürülebilir.

Adım 5: Non-IID Veri ile Başa Çıkma

Gerçek dünya senaryolarında istemcilerdeki veri dağılımları birbirinden farklıdır (non-IID). Bu durum model yakınsamasını zorlaştırır. FedProx, SCAFFOLD ve FedNova gibi algoritmalar bu soruna çözüm üretir. FedProx, yerel güncellemeye bir proximal terim ekleyerek global modelden aşırı sapmaları cezalandırır.

10. Zorluklar ve Çözümler

İletişim Darboğazları

FL'nin en büyük zorluklarından biri, iletişim maliyetidir. Her turda tüm model parametrelerinin gönderilmesi, özellikle büyük modellerde ciddi bant genişliği tüketir. Gradient compression (TopK, Random-K), federated distillation ve yerel eğitim turlarını artırma (FedAvg'deki E parametresi) bu soruna çözüm sunar.

Güvenlik Tehditleri

Model Poisoning: Kötü niyetli istemciler, modeli yanlış yönlendirmek için manipüle edilmiş gradyanlar gönderebilir. Byzantine-robust aggregation yöntemleri (Krum, Trimmed Mean, Bulyan) bu tehdide karşı koruma sağlar.

Gradient Inversion: Paylaşılan gradyanlardan orijinal verilerin yeniden oluşturulması mümkündür. DP gürültüsü ve Secure Aggregation bu saldırıyı önler.

Membership Inference: Bir verinin eğitim setinde olup olmadığını belirleme saldırısıdır. DP bu saldırıya karşı kanıtlanabilir koruma sağlar.

Gizlilik-Fayda Dengesi

DP'nin eklediği gürültü, model doğruluğunu kaçınılmaz olarak düşürür. Bu dengeyi optimize etmek için adaptive clipping, per-layer noise calibration ve privacy amplification via subsampling gibi teknikler kullanılabilir.

11. Gelecek Perspektifleri

FL ve DP alanı hızla gelişmeye devam etmektedir. Öne çıkan araştırma yönleri şunlardır:

Personalized Federated Learning: Global model yerine her istemciye özel modeller üretmek. Meta-learning, multi-task learning ve model interpolation teknikleri ile her istemcinin yerel veri dağılımına uyum sağlayan modeller geliştirilmektedir.

Federated LLM Training: Büyük dil modellerinin FL ile eğitilmesi, hem veri gizliliği hem de hesaplama kaynakları açısından yeni zorluklar ortaya çıkarmaktadır. LoRA gibi parameter-efficient fine-tuning yöntemleri, FL ile LLM entegrasyonunu mümkün kılmaktadır.

Decentralized FL: Merkezi koordinatör sunucu olmadan, eşler arası (peer-to-peer) iletişimle FL gerçekleştirmek. Blockchain tabanlı yaklaşımlar bu alanda öncü rol üstlenmektedir.

Homomorphic Encryption + FL: Tamamen homomorfik şifreleme ile gradyanların şifreli olarak birleştirilmesi, hem DP hem de kriptografik güvenlik katmanı sağlar. Hesaplama maliyeti hala yüksek olsa da, donanım hızlandırıcıları ile pratik hale gelmektedir.

12. Sıkça Sorulan Sorular