A quantização substitui pesos de alta precisão (por exemplo, de 16 bits) por representações inteiras menores. Dettmers et al. (2022) mostraram com o LLM.int8() que a multiplicação de matrizes em 8 bits permite executar a inferência de transformers com metade da memória, preservando a precisão total, graças a um tratamento cuidadoso das raras features de alta magnitude.
É a quantização que permite rodar modelos grandes em GPUs menores e em hardware de consumo, e ela se combina naturalmente com métodos de adaptadores como a LoRA.