Stable Diffusion se basa en el modelo de difusión latente de Rombach et al. (2022), que ejecuta el proceso de difusión en un espacio latente comprimido en lugar de directamente sobre los píxeles, lo que reduce el cómputo lo suficiente como para generar imágenes de alta resolución en una sola GPU de consumo. Su publicación abierta dio lugar a un enorme ecosistema de herramientas y variantes ajustadas.
Es el ejemplo por excelencia de generación de imágenes con pesos abiertos, complementario a sistemas cerrados como DALL·E.