04 · KAPASİTE
DoğrulandıRank, Alpha ve Target Modules
Kapasite, ölçek ve etki alanını birbirinden ayır; tek değişkenli deney yap.
- r = kapasite
- alpha = ölçek
- α/r = standart, α/√r = rsLoRA
- Tek değişkeni değiştir
ÖNCE BUNLARI BİL
bütçesi, penceresi ve mekanizması…Rank r adaptör kapasitesini ve r × (d_in + d_out) parametre bütçesini belirler. Alpha standart LoRA'da alpha/r, rsLoRA'da alpha/√r ölçeğini etkiler.
Target modules, adaptörün attention ve MLP içindeki gerçek matrislere nereye ekleneceğini belirler. Modül adları mimariye özgüdür ve eğitim öncesinde modelden doğrulanmalıdır.
İlk düşünce
Aynı alpha/r, aynı adaptör kapasitesi demektir.
Düzeltme
Aynı etkin ölçek korunabilir; daha yüksek rank yine daha çok parametre ve kapasite taşır.
Karar kuralı
r=8/alpha=8 baseline; kapasite yetersizse diğer her şeyi sabit tutup r=16/alpha=16 dene.
KAVRAM DERİNLİĞİ
Aynı kavramı üç derinlikte anlat. Seviyeni seç, anında geç. Üniversite öğrencisi için önerilen başlangıç: LİSANS.
Rank r, A ∈ R^(r×d_in) ve B ∈ R^(d_out×r) matrislerinin iç boyutudur. Parametre sayısı r × (d_in + d_out) ile ölçeklenir. Alpha, ölçek çarpanıdır: standart LoRA'da α/r, rsLoRA'da α/√r. Aynı etkin ölçek korunsa bile, yüksek rank daha çok kapasite taşır ve overfitting riski artar.