KAVRAM ŞEMASI

bütçesi, penceresi ve mekanizması…LoRA, W' = W + scale × BA biçiminde yalnızca A ve B adaptörlerini eğitir. Varsayılan rastgele A ve sıfır B başlangıcı taban davranışını korur; diğer başlangıç yöntemleri ayrıca doğrulanmalıdır.

QLoRA donmuş tabanı 4-bit biçimde saklar; adaptör ve kritik hesaplar daha yüksek hassasiyette kalabilir. Bu seçenekleri genişletir, belirli bir modelin 16 GB'a sığacağını garanti etmez.

İlk düşünce

QLoRA bütün modeli 4-bit integer olarak eğitir.

Düzeltme

4-bit olan donmuş tabandır; küçük LoRA adaptörleri eğitilir ve hesaplama hassasiyetleri ayrı ele alınır.

Karar kuralı

16 GB'ta önce QLoRA; kalite kararı bağımsız benchmark ile.

KAVRAM DERİNLİĞİ

Aynı kavramı üç derinlikte anlat. Seviyeni seç, anında geç. Üniversite öğrencisi için önerilen başlangıç: LİSANS.

LİSANS

LoRA, W' = W + scale·BA biçiminde düşük-rank bir düzeltme öğrenir. Sadece A ve B eğitilir, W donuk kalır. QLoRA, W'yi 4-bit (NF4) olarak saklar; A/B ve kritik hesaplar daha yüksek hassasiyette kalabilir. Gerçek bellek uygunluğu model, bağlam, toplu iş ve çalışma zamanına bağlıdır; 16 GB garanti değildir.

LoRA ve QLoRA