Stable Diffusion repose sur le modèle de diffusion latente de Rombach et al. (2022), qui exécute le processus de diffusion dans un espace latent compressé plutôt que directement sur les pixels, ce qui réduit suffisamment les besoins de calcul pour générer des images haute résolution sur un seul GPU grand public. Sa publication ouverte a donné naissance à un vaste écosystème d’outils et de variantes affinées.
C’est l’exemple type de la génération d’images à poids ouverts, en complément de systèmes fermés comme DALL·E.