Yao et al. (2023) haben Chain-of-Thought zu einer Suche über einen Baum von Zwischen-„Gedanken“ verallgemeinert: Das Modell schlägt mehrere nächste Schritte vor, bewertet, wie vielversprechend jeder ist, und erkundet sie weiter oder geht entsprechend zurück. Dieses gezielte Erkunden verbessert die Leistung bei Aufgaben, die Planung oder Versuch und Irrtum erfordern, deutlich.
ToT ist aufwendiger als eine einzelne Gedankenkette, kann aber Aufgaben lösen, an denen eine Antwort im ersten Anlauf scheitert.