La cuantización sustituye los pesos de alta precisión (p. ej., de 16 bits) por representaciones enteras más pequeñas. Dettmers et al. (2022) demostraron con LLM.int8() que la multiplicación de matrices de 8 bits permite ejecutar la inferencia de un Transformer con la mitad de memoria conservando la precisión completa, gracias a un tratamiento cuidadoso de las escasas características de gran magnitud.
La cuantización es lo que permite ejecutar grandes modelos en GPU más pequeñas y en hardware de consumo, y se combina de forma natural con métodos de adaptadores como LoRA.