Sözlük
Terimler sözlüğü
Atlas boyunca geçen terimlerin kısa tanımları. Her terim tek bir kavramı açıklar; ölçüm veya doğrulanmış sonuç iddia etmez.
30 terim
- Adapter
adapter LoRA gibi küçük eklenti
Eğitilebilir küçük modül; taban modeli değiştirmeden görev davranışı ekler.
- Alpha (α)
alpha Ölçek katsayısı
LoRA düzeltmesinin çarpanı; standart LoRA'da α/r, rsLoRA'da α/√r olarak uygulanır.
- Attention
attention Hangi tokene odaklanacağını seçme
Modelin her adımda önceki token'lara farklı ağırlıklar atayarak odaklanma mekanizması.
- Base model
base-model Ön-eğitim görmüş ham model
Talimat takip etmeyen, yalnızca sonraki token tahmini yapan başlangıç modeli. İnce ayar (fine-tuning) için başlangıç noktası olarak kullanılır.
- Benchmark
benchmark Standart test seti
Modeli değerlendirmek için eğitimden bağımsız, sabit bir soru/görev seti.
- Catastrophic forgetting
forgetting Eski yeteneği kaybetme
Yeni veriyle eğitim sonrası modelin daha önce öğrendiği yetenekleri kaybetmesi.
- Chat template
chat-template Mesajları token dizisine çevirme
Role/content kayıtlarını modelin anlayacağı özel token'larla çeviren şablon (örn. ChatML, Llama-3).
- Context
context Toplam token bütçesi
Bir adımda modelin koşullandırıldığı tüm token konumlarının toplamı: sistem + şablon + girdi + RAG + cevap.
- Data leakage
leakage Test verisinin eğitime sızması
Test/validation örneklerinin yanlışlıkla eğitim setine girmesi, sahte yüksek skor yaratır.
- Effective batch
effective-batch Gerçek batch büyüklüğü
μ × accumulation × GPU sayısı. Gerçek ağırlık güncellemesinde kullanılan toplam batch.
- Epoch
epoch Tüm veri üzerinden 1 geçiş
Eğitim setinin tamamının modele bir kez gösterilmesi.
- GGUF
gguf Yerel inference dosya biçimi
llama.cpp/Ollama gibi yerel çalıştırma araçlarının kullandığı quantize edilmiş model biçimi.
- Gradient accumulation
accumulation Birikimli gradyan
Birden fazla micro-step'in gradyanlarını bir optimizer step'te toplama yöntemi.
- GRPO
grpo Group Relative Policy Optimization
Otomatik doğrulanabilir bir ödül sinyaliyle (örn. doğru/yanlış) policy güncelleyen RL yöntemi.
- Instruct model
instruct-model Talimatlara hizalanmış model
Sohbet ve talimat takip edecek şekilde RLHF veya SFT ile hizalanmış model.
- KV cache
kv-cache Önceki K/V vektörlerinin belleği
Her üretilen token için Key ve Value vektörlerinin yeniden hesaplanmasını önlemek üzere saklandığı geçici bellek.
- LoRA
lora Düşük-rank adaptör
Donmuş bir W matrisine küçük bir ölçek × BA düzeltmesi ekleyerek eğitilebilir parametre sayısını düşüren yöntem.
- Loss
loss Hata ölçüsü
Modelin tahmini ile gerçek değer arasındaki farkı sayısal olarak ifade eden metrik.
- Merge
merge Adapter'ı tabana katma
LoRA adaptörünün ağırlıklarını taban modele geri ekleyip tek bir model elde etme.
- Micro batch
micro-batch 1 ileri/geri geçişteki örnek sayısı
Tek bir forward/loss/backward geçişinde işlenen örnek sayısı.
- OOM
oom Out of memory
GPU belleğinin yetmemesi; tipik olarak micro-batch veya context'i düşürmek gerekir.
- Optimizer step
step 1 ağırlık güncellemesi
Birikmiş gradientlerle model ağırlıklarının bir kez güncellenmesi.
- Overfitting
overfitting Eğitim verisini ezberleme
Modelin eğitim verisini çok iyi öğrenip görünmeyen veride kötüleşmesi.
- QLoRA
qlora 4-bit taban + LoRA
Donmuş tabanı 4-bit (NF4) biçimde saklayan, adaptörleri ise daha yüksek hassasiyette eğiten yöntem.
- RAG
rag Retrieval-Augmented Generation
Cevap üretirken dış bir bilgi kaynağından ilgili pasajları çekip prompt'a ekleme yöntemi.
- Rank (r)
rank Adaptör kapasitesi
LoRA'nın düşük-rank matrislerinin iç boyutu; kapasiteyi ve parametre sayısını belirler.
- Response-only masking
masking Yalnız cevabı eğitme
Loss hesabında yalnızca assistant cevabının etiketlerinin aktif olması (-100 ile diğerlerini maskeleme).
- SFT
sft Supervised Fine-Tuning
Etiketli örneklerle (soru + doğru cevap) supervised biçimde yapılan ince ayar eğitimi.
- Token
token Metnin sayısal parçası
Modelin işlediği en küçük birim; bir kelime, kelime parçası veya noktalama işareti olabilir. Tokenizer tarafından üretilir.
- VRAM
vram GPU belleği
GPU üzerindeki bellek; model, aktivasyon ve KV cache burada yaşar.