DevOps & Altyapı
Model Quantization Rehberi: AWQ, GPTQ ve GGUF ile 4-Bit ve 8-Bit Sıkıştırma
70B parametreli devasa açık kaynak modelleri tek bir 24GB VRAM ekran kartında çalıştırmayı sağlayan modern sıkıştırma formatları.
3 dk
AWQ (Activation-aware Weight Quantization)
Tüm ağırlıkları körlemesine 4-bite düşürmek yerine, aktivasyon katmanında kritik rol oynayan %1'lik ağırlıkları 16-bitte tutarak perplexity kaybını önler.