Yao et al. (2023) ont généralisé le chain-of-thought en une recherche dans un arbre de « pensées » intermédiaires : le modèle propose plusieurs étapes suivantes possibles, évalue le potentiel de chacune, puis explore ou revient en arrière en conséquence. Cette exploration délibérée améliore nettement les performances sur les problèmes qui demandent de la planification ou des essais-erreurs.
Le ToT est plus coûteux qu’une simple chaîne de pensée, mais il peut résoudre des tâches sur lesquelles une réponse en un seul coup échoue.