BLEU, présenté par Papineni et al. (2002), compare une traduction automatique à une ou plusieurs références humaines à partir des n-grammes de mots communs, avec une pénalité pour les sorties trop courtes. Ce fut la première métrique automatique à corréler raisonnablement avec le jugement humain sur la qualité de traduction, et elle est devenue une référence du domaine.
BLEU est rapide et reproductible, mais aveugle au sens et à la paraphrase : on l’utilise donc en complément de l’évaluation humaine, et non à sa place.