05 · EĞİTİM MEKANİĞİ
DoğrulandıEpoch, Step ve Gradient Accumulation
Micro-step ile gerçek ağırlık güncellemesini ayır; OOM müdahalesini hesapla.
- Micro-step = 1 batch geçişi
- Optimizer step = 1 ağırlık güncellemesi
- Eff. batch = μ × accum × GPU
- OOM'da μ'yu düşür, accum'u artır
ÖNCE BUNLARI BİL
bütçesi, penceresi ve mekanizması…Micro-step bir micro batch için forward/loss/backward geçişidir. Optimizer step, accumulation tamamlandıktan sonra birikmiş gradientlerle ağırlığı bir kez günceller.
Effective batch = micro batch × accumulation × GPU sayısı. OOM'da micro batch veya sequence length düşürülür; hedef effective batch korunacaksa accumulation artırılır.
İlk düşünce
Accumulation 8 ise ağırlık sekiz kez güncellenir.
Düzeltme
Sekiz backward yapılır, ardından bir optimizer step ile ağırlık bir kez güncellenir.
Karar kuralı
Önce VRAM'e sığan micro batch'i bul; step sayılarını optimizer step olarak kaydet.
KAVRAM DERİNLİĞİ
Aynı kavramı üç derinlikte anlat. Seviyeni seç, anında geç. Üniversite öğrencisi için önerilen başlangıç: LİSANS.
Micro-step, bir micro batch için forward/loss/backward geçişidir. Optimizer step, accumulation tamamlandıktan sonra ağırlığın bir kez güncellenmesidir. Effective batch = μ × accumulation × GPU sayısı. OOM'da ilk düşürülecek şey micro batch veya sequence length; effective batch korunacaksa accumulation artırılır.