Un agente esegue un modello in un ciclo: ragiona su un obiettivo, compie un'azione come una chiamata a uno strumento, osserva il risultato e ripete finché il compito non è concluso. Yao et al. (2023) hanno formalizzato l'alternanza tra ragionamento e azione nel framework ReAct, mentre Schick et al. (2023) hanno dimostrato con Toolformer che i modelli possono imparare a decidere quando e come richiamare strumenti esterni.
La differenza rispetto a un chatbot è l'autonomia su più passaggi: questo rende gli agenti potenti, ma solleva anche questioni di affidabilità e sicurezza.