Retrieval-Augmented Generation kombiniert einen Retriever, der eine externe Dokumentensammlung durchsucht, mit einem Generator-Sprachmodell. Lewis et al. (2020) führten das Verfahren ein: Sie koppelten ein parametrisches Seq2Seq-Modell mit einem nichtparametrischen Vektorindex der Wikipedia und zeigten, dass es faktentreuere, spezifischere Texte erzeugt und bei Open-Domain-Question-Answering neue Bestwerte erzielt.
Die meisten modernen RAG-Systeme rufen Inhalte über dichte Embeddings ab, nach dem Vorbild von Dense Passage Retrieval (Karpukhin et al., 2020); die Idee, Retrieval mit einem Sprachmodell zu verbinden, wurde auch in REALM (Guu et al., 2020) entwickelt.
Was ist RAG in der KI? Die Bedeutung einfach erklärt
Die Bedeutung von RAG in einem Satz: erst nachschlagen, dann antworten. Ein einfaches LLM antwortet nur aus dem, was es im Training aufgenommen hat – und das kann veraltet oder falsch erinnert sein. Ein RAG-System holt zuerst Passagen, die für die Frage relevant sind – aus Unternehmensdokumenten, einer Wissensdatenbank oder dem Web – und übergibt sie dem Modell zusammen mit der Frage, sodass die Antwort echte Quellen zitieren und belegen kann.
Deshalb ist RAG der übliche Weg, um Chatbots für private Dokumente zu bauen, Support-Assistenten, die aktuell bleiben müssen, und Recherche-Tools, die zeigen, woher jede Aussage stammt.
Wie Retrieval-Augmented Generation funktioniert
- 1Indexieren. Dokumente werden in Chunks zerlegt, jeder Chunk wird in ein Embedding umgewandelt, und die Embeddings werden in einer Vektordatenbank oder einem Suchindex gespeichert.
- 2Abrufen. Die Frage des Nutzers wird auf dieselbe Weise eingebettet, und die ähnlichsten Chunks werden per Nächste-Nachbarn-Suche gefunden, oft gefolgt von einem Reranking-Schritt.
- 3Anreichern und Generieren. Die besten Passagen werden innerhalb des Kontextfensters des Modells in den Prompt eingefügt, und das Modell schreibt eine darauf gestützte Antwort – idealerweise mit Angabe, welche Passage welche Aussage belegt.
RAG vs. Fine-Tuning
Beides macht ein Modell nützlicher für Ihr Fachgebiet, doch es verändert Unterschiedliches. RAG verändert, was das Modell sehen kann; Fine-Tuning verändert das Modell selbst.
| RAG | Fine-Tuning | |
|---|---|---|
| Was sich ändert | Der Kontext, den das Modell erhält | Die Gewichte des Modells |
| Wissen aktualisieren | Dokumente neu indexieren | Erneut trainieren |
| Quellenangaben | Kann auf die genutzten Passagen verweisen | Keine eingebaute Quellenspur |
| Ideal für | Aktuelle, private oder sich schnell ändernde Fakten | Einheitlichen Stil, festes Format oder spezialisiertes Verhalten |
Dank langer Kontextfenster können Sie ganze Dokumente in einen Chat einfügen, was RAG bei einer Handvoll Dateien ersetzen kann. RAG bleibt jedoch überlegen, wenn die Sammlung größer ist als das Fenster, sich häufig ändert oder für viele Nutzer durchsuchbar sein muss.
RAG bei MultipleChat
MultipleChat Projects arbeiten genau so: Dateien, die Sie einem Projekt hinzufügen, werden indexiert, und wenn Sie eine Nachricht senden, durchsucht MultipleChat sie und übergibt dem Modell nur die relevantesten Chunks – so kann jeder Chat im Projekt auf Ihre Dokumente zugreifen, ohne dass Sie etwas hineinkopieren müssen. Die Websuche ergänzt Live-Quellen, und in den kostenpflichtigen Tarifen kann Auto Verification eine Antwort direkt nach der Ausgabe auf sachliche Fehler prüfen.