Stable Diffusion si basa sul modello di diffusione latente di Rombach et al. (2022), che esegue il processo di diffusione in uno spazio latente compresso anziché direttamente sui pixel, riducendo il calcolo quanto basta per generare immagini ad alta risoluzione su una singola GPU consumer. Il suo rilascio aperto ha dato vita a un vasto ecosistema di strumenti e varianti fine-tuned.
È l'esempio per eccellenza di generazione di immagini open-weight, complementare a sistemi chiusi come DALL·E.