O Stable Diffusion se baseia no modelo de difusão latente de Rombach et al. (2022), que executa o processo de difusão em um espaço latente comprimido em vez de diretamente sobre os pixels — reduzindo o custo computacional o suficiente para gerar imagens em alta resolução com uma única GPU de consumo. Seu lançamento aberto deu origem a um enorme ecossistema de ferramentas e variantes ajustadas.
É o exemplo clássico de geração de imagens com pesos abertos, complementando sistemas fechados como o DALL·E.