قدّم Sutskever وزملاؤه (2014) إطار «من تسلسل إلى تسلسل»: تضغط شبكة مُرمِّزة تسلسلَ الإدخال في تمثيل ما، ثم تولّد شبكة مفكِّكة للترميز تسلسلَ الإخراج انطلاقًا منه. وقد شكّل نمط المُرمِّز والمفكِّك هذا أساس الترجمة الآلية العصبية، وهو السلف المفاهيمي للنماذج التوليدية الحديثة.
وقد طُوِّرت آلية الانتباه ثم المحوّل (Transformer) للتغلّب على عنق الزجاجة الناتج عن ضغط المُدخل كاملًا في متجه واحد ثابت.