06 · GENELLEME
DoğrulandıLoss, Overfitting ve Forgetting
Loss'u iş kalitesi sanma; domain, format, güvenlik ve retention metriklerini birlikte kullan.
- Train↓ Val↑ = overfitting
- Domain↑ Genel↓ = forgetting
- Loss ≠ kalite
- Checkpoint seçimi çoklu metrik
ÖNCE BUNLARI BİL
bütçesi, penceresi ve mekanizması…Training loss optimize edilen hedefe uyumu, validation loss görülmemiş split üzerindeki genellemeyi izler. Train düşerken validation yükseliyorsa overfitting araştırılır.
Catastrophic forgetting farklıdır: yeni domain metriği yükselirken eski/genel yetenek geriler. LoRA tabanı korur ama aktif adapter davranışsal girişim oluşturabilir.
İlk düşünce
Daha düşük validation loss her zaman daha iyi üretim modelidir.
Düzeltme
Loss optimize edilen token hedefidir; JSON geçerliliği, görev doğruluğu ve güvenlik ayrı ölçülür.
Karar kuralı
Checkpoint'i validation loss + görev metriği + retention eşiğiyle seç.
KAVRAM DERİNLİĞİ
Aynı kavramı üç derinlikte anlat. Seviyeni seç, anında geç. Üniversite öğrencisi için önerilen başlangıç: LİSANS.
Training loss, optimize edilen hedefe uyumu ölçer. Validation loss, görülmemiş split üzerindeki genellemeyi ölçer. Train düşerken validation yükseliyorsa overfitting. Catastrophic forgetting farklıdır: yeni yetenek kazanırken eski/genel yetenek geriler. Loss tek başına kalite kanıtı değildir; domain/format/safety metrikleri de ölçülmelidir.