Yao et al. (2023) generalizaram o chain-of-thought em uma busca sobre uma árvore de "pensamentos" intermediários: o modelo propõe vários próximos passos, avalia o quanto cada um é promissor e, conforme o resultado, segue explorando ou volta atrás. Essa exploração deliberada melhora bastante o desempenho em problemas que exigem planejamento ou tentativa e erro.
A ToT é mais cara do que uma única cadeia de raciocínio, mas consegue resolver tarefas em que uma resposta de primeira falha.