يجمع التوليد المعزّز بالاسترجاع بين مُسترجِع يبحث في مجموعة مستندات خارجية ونموذج لغوي مولِّد. وقد قدّمه Lewis وزملاؤه (2020)، إذ قرنوا نموذج seq2seq بارامتريًا بفهرس متجهي غير بارامتري لـ Wikipedia، وأظهروا أنه ينتج نصوصًا أكثر دقة واقعية وتحديدًا، وحقق نتائج غير مسبوقة في الإجابة عن الأسئلة في المجالات المفتوحة.
تعتمد معظم أنظمة RAG الحديثة في الاسترجاع على التضمينات الكثيفة، على نهج Dense Passage Retrieval (Karpukhin وزملاؤه، 2020)؛ كما طُوِّرت فكرة ربط الاسترجاع بالنموذج اللغوي أيضًا في REALM (Guu وزملاؤه، 2020).
ما هو RAG في الذكاء الاصطناعي؟ المعنى بعبارات بسيطة
معنى RAG في سطر واحد: ابحث أولًا، ثم أجب. يجيب النموذج اللغوي الكبير العادي اعتمادًا فقط على ما استوعبه أثناء التدريب، وقد يكون ذلك قديمًا أو مُستحضَرًا بشكل خاطئ. أما نظام RAG فيجلب أولًا المقاطع ذات الصلة بالسؤال — من مستندات الشركة أو قاعدة معرفية أو الويب — ويقدّمها إلى النموذج مع السؤال، بحيث تقتبس الإجابة من مصادر حقيقية وتستشهد بها.
ولهذا يُعدّ RAG الطريقة المعتادة لبناء روبوتات دردشة تعمل على مستندات خاصة، ومساعدي دعم يجب أن يبقوا مواكبين للمستجدات، وأدوات بحث تبيّن مصدر كل ادعاء.
كيف يعمل التوليد المعزّز بالاسترجاع
- 1الفهرسة. تُقسَّم المستندات إلى أجزاء، ويُحوَّل كل جزء إلى تضمين، وتُخزَّن التضمينات في قاعدة بيانات متجهية أو فهرس بحث.
- 2الاسترجاع. يُحوَّل سؤال المستخدم إلى تضمين بالطريقة نفسها، ويُعثَر على الأجزاء الأكثر تشابهًا عبر البحث عن أقرب الجيران، وغالبًا ما تليه خطوة إعادة ترتيب.
- 3الإثراء والتوليد. تُدرَج أفضل المقاطع في المطالبة، ضمن نافذة السياق للنموذج، فيكتب النموذج إجابة مستندة إليها — ويُفضَّل أن يذكر المقطع الذي يدعم كل عبارة.
RAG مقابل الضبط الدقيق
كلاهما يجعل النموذج أكثر فائدة في مجالك، لكنهما يغيّران أشياء مختلفة. يغيّر RAG ما يستطيع النموذج رؤيته؛ أما الضبط الدقيق فيغيّر النموذج نفسه.
| RAG | الضبط الدقيق | |
|---|---|---|
| ما الذي يتغيّر | السياق المقدَّم إلى النموذج | أوزان النموذج |
| تحديث المعرفة | إعادة فهرسة المستندات | إعادة التدريب |
| الاستشهادات | يمكنه الإشارة إلى المقاطع المستخدمة | لا يوجد أثر مدمج للمصادر |
| الأنسب لـ | الحقائق الحديثة أو الخاصة أو سريعة التغيّر | أسلوب أو تنسيق متّسق أو سلوك متخصص |
تتيح لك نوافذ السياق الطويلة لصق مستندات كاملة في الدردشة، وهو ما قد يغني عن RAG حين يتعلق الأمر بعدد قليل من الملفات. لكن RAG يبقى الخيار الأفضل حين تكون المجموعة أكبر من النافذة، أو تتغيّر كثيرًا، أو يجب البحث فيها لعدد كبير من المستخدمين.
RAG في MultipleChat
تعمل المشاريع في MultipleChat بهذه الطريقة: تُفهرَس الملفات التي تضيفها إلى المشروع، وعندما ترسل رسالة يبحث MultipleChat فيها ولا يمرّر إلى النموذج إلا الأجزاء الأكثر صلة — فتستطيع كل دردشة في المشروع الاستفادة من مستنداتك دون نسخ ولصق. ويضيف البحث على الويب مصادر حيّة، وفي الخطط المدفوعة يمكن لميزة Auto Verification فحص الإجابة بحثًا عن مشكلات في دقة المعلومات فور تقديمها.