Yao et al. (2023) hanno generalizzato la chain-of-thought in una ricerca su un albero di "pensieri" intermedi: il modello propone diversi passi successivi, valuta quanto sia promettente ciascuno ed esplora o torna indietro di conseguenza. Questa esplorazione ragionata migliora nettamente le prestazioni sui problemi che richiedono pianificazione o procedere per tentativi.
Il ToT è più costoso di una singola catena di ragionamento, ma può risolvere compiti in cui una risposta secca fallisce.