08 · KANIT
PlanlandıDataset ve Değerlendirme Disiplini
Bağımsız test, sabit şema ve güvenlik örnekleri olmadan kalite iddiası üretme.
- %55 standart, %15 eksik bilgi
- Train ≠ test
- Çok metrikli benchmark
- Güvenlik düşerse reddet
ÖNCE BUNLARI BİL
bütçesi, penceresi ve mekanizması…Önerilen veri karışımı: %55 standart, %10 farklı ifade, %15 eksik bilgi, %10 negatif ve %10 eskale örneği. Test seti eğitimden farklı ekipman veya kaynaktan dondurulur.
100 soruluk benchmark domain doğruluğu, format, güvenlik, belirsizlik ve genel yetenek korunumunu ağırlıklı ölçer. Eğitim verisini evaluation diye yeniden kullanmak genelleme kanıtı değildir.
İlk düşünce
Train split'teki loss, bağımsız kalite ölçümüdür.
Düzeltme
Ayrı validation ve test seti gerekir; loss gerçek iş hedefini tek başına temsil etmez.
Karar kuralı
Benchmark'ı eğitimden önce dondur ve base/adapted modeli aynı üretim ayarlarıyla ölç.
KAVRAM DERİNLİĞİ
Aynı kavramı üç derinlikte anlat. Seviyeni seç, anında geç. Üniversite öğrencisi için önerilen başlangıç: LİSANS.
Train/validation/test split'leri ayrı kaynaklardan dondurulmalıdır. Bu atlasın örnek veri karışımı (evrensel öneri değil): %55 standart, %10 parafraz, %15 eksik bilgi, %10 negatif, %10 eskalasyon. 100 soruluk benchmark domain/format/safety/uncertainty/retention ağırlıklı ortalama ile skorlanır. Eğitim verisini evaluation'da kullanmak genelleme kanıtı değildir.