La quantification remplace des poids haute précision (par exemple 16 bits) par des représentations entières plus compactes. Avec LLM.int8(), Dettmers et al. (2022) ont montré que la multiplication matricielle 8 bits permet d’exécuter l’inférence d’un transformer avec moitié moins de mémoire tout en conservant la précision d’origine, grâce à un traitement soigneux des rares caractéristiques de forte amplitude.
C’est la quantification qui permet de faire tourner de grands modèles sur des GPU plus modestes et du matériel grand public, et elle se combine naturellement avec des méthodes d’adaptateurs comme LoRA.