La quantizzazione sostituisce i pesi ad alta precisione (ad es. a 16 bit) con rappresentazioni intere più compatte. Dettmers et al. (2022) hanno mostrato con LLM.int8() che la moltiplicazione di matrici a 8 bit permette di eseguire l'inferenza dei transformer con metà della memoria mantenendo l'accuratezza della piena precisione, grazie a una gestione attenta delle rare feature di grande magnitudine.
È la quantizzazione a permettere di eseguire modelli di grandi dimensioni su GPU più piccole e su hardware consumer, e si abbina in modo naturale a metodi ad adattatori come LoRA.