Bei der Quantisierung werden hochpräzise Gewichte (z. B. 16 Bit) durch kleinere Ganzzahldarstellungen ersetzt. Dettmers et al. (2022) zeigten mit LLM.int8(), dass 8-Bit-Matrixmultiplikation die Transformer-Inferenz mit halbem Speicherbedarf ausführen kann und dabei die Genauigkeit voller Präzision erhält – durch sorgfältigen Umgang mit seltenen Merkmalen hoher Magnitude.
Quantisierung ermöglicht es, große Modelle auf kleineren GPUs und Consumer-Hardware auszuführen, und lässt sich gut mit Adapter-Methoden wie LoRA kombinieren.