Das KI-Glossar

Adam (Optimierer)

Der am weitesten verbreitete Optimierungsalgorithmus: Er passt die Lernrate für jeden Parameter einzeln an und macht das Training neuronaler Netze so schneller und stabiler.

KI-Agent

Ein KI-System, das nicht nur einmal antwortet, sondern mehrstufige Aufgaben selbst plant und ausführt – es ruft Tools auf, prüft deren Ergebnisse und entscheidet eigenständig über den nächsten Schritt.

Alignment

Die Arbeit daran, das Verhalten eines KI-Systems mit menschlichen Absichten und Werten in Einklang zu bringen – sie sorgt dafür, dass ein Modell Anweisungen zuverlässig befolgt und schädliche Anfragen ablehnt.

API (Programmierschnittstelle)

Eine Programmierschnittstelle, über die Software direkt mit einem Modell kommuniziert, ohne Umweg über die Chat-Oberfläche – sie liefert strukturierte Daten und wird pro Token abgerechnet.

Attention-Mechanismus

Die Technik, mit der ein Modell gewichtet, wie wichtig jeder Teil der Eingabe für jeden Teil der Ausgabe ist – die zentrale Rechenoperation jedes Transformers.

Backpropagation (Fehlerrückführung)

Der Algorithmus, der neuronale Netze trainiert, indem er Vorhersagefehler von hinten nach vorn zurückführt und so jedes Gewicht anpasst – die Grundlage nahezu des gesamten Deep Learning.

Batch Normalization

Eine Trainingstechnik, die die Eingaben jeder Schicht normalisiert, sodass auch tiefere Netze schneller und stabiler lernen.

Benchmark

Ein standardisierter Test, der Modelle bei Aufgaben wie Reasoning, Wissen oder Programmieren misst und vergleicht. Nützlich für Ranglisten – ersetzt aber nie ganz den eigenen Test an Ihren konkreten Aufgaben.

BERT (Bidirectional Encoder Representations from Transformers)

Ein reiner Encoder-Transformer, der darauf vortrainiert ist, Text gleichzeitig in beide Richtungen zu lesen. Er wird häufig für Verständnisaufgaben wie Klassifikation, Suche und Informationsextraktion eingesetzt.

BLEU

Eine seit Langem etablierte automatische Metrik für maschinelle Übersetzung, die bewertet, wie stark sich die Wortfolgen einer Ausgabe mit menschlichen Referenzübersetzungen überschneiden.

Katastrophales Vergessen (Catastrophic Forgetting)

Die Neigung eines neuronalen Netzes, zuvor erlernte Fähigkeiten zu verlieren, wenn es mit neuen Daten trainiert wird – eine zentrale Herausforderung für kontinuierlich aktualisierte Modelle.

Gedankenkette (Chain of Thought, CoT)

Eine Prompting-Technik, bei der das Modell vor der endgültigen Antwort Zwischenschritte durchdenkt – das verbessert die Genauigkeit bei mehrstufigen Problemen.

ChatGPT

Der im November 2022 eingeführte dialogorientierte KI-Assistent von OpenAI, der auf Anweisungen abgestimmte große Sprachmodelle einem breiten Publikum bekannt gemacht hat.

Claude

Die Familie großer Sprachmodelle von Anthropic, bekannt für langen Kontext, starkes Reasoning und einen Sicherheitsansatz namens Constitutional AI.

CNN (Convolutional Neural Network)

Eine Architektur neuronaler Netze, die mit erlernten Filtern räumliche Muster erkennt – eine Grundlage der modernen Computer Vision.

Kontextfenster

Die Gesamtmenge an Text – gemessen in Tokens –, die ein Modell bei einem einzigen Aufruf berücksichtigen kann, einschließlich System-Prompt, Gesprächsverlauf, Anhängen und der gerade entstehenden Antwort.

Passendes Tool: Kontextfenster-Visualisierer.

Kosinus-Ähnlichkeit

Ein Maß für die Ähnlichkeit zweier Vektoren anhand des Winkels zwischen ihnen – der Standard für den Vergleich von Embeddings bei Suche und RAG.

DALL·E

Das Text-zu-Bild-Modell von OpenAI, das Bilder aus Beschreibungen in natürlicher Sprache erzeugt und die promptbasierte Bildgenerierung populär gemacht hat.

Diffusionsmodell (Diffusion Model)

Ein generatives Modell, das lernt, Daten zu erzeugen, indem es einen schrittweisen Prozess des Hinzufügens von Rauschen umkehrt – die Technologie hinter den meisten heutigen KI-Bildgeneratoren.

DPO (Direct Preference Optimization)

Ein Alignment-Verfahren, das ein Modell mit einer einfachen Klassifikations-Verlustfunktion direkt auf Paaren menschlicher Präferenzen trainiert – ohne das separate Belohnungsmodell, das bei RLHF zum Einsatz kommt.

Dropout

Eine Regularisierungstechnik, die während des Trainings zufällig einen Teil der Neuronen deaktiviert, um Overfitting zu verhindern und die Generalisierung zu verbessern.

Embedding

Eine Liste von Zahlen, die die Bedeutung eines Textabschnitts darstellt – inhaltlich ähnliche Elemente liegen im Vektorraum nahe beieinander.

Few-Shot-Prompting

Eine Methode, bei der Sie dem Modell im Prompt einige Beispiele mitgeben, damit es das Muster selbst erkennt, bevor es antwortet.

Fine-Tuning

Das Weitertrainieren eines vortrainierten Modells mit zusätzlichen, spezialisierten Daten, um es an eine bestimmte Domäne, Aufgabe oder einen Stil anzupassen – ohne bei null anzufangen.

GAN (Generative Adversarial Network)

Eine generative Architektur, bei der zwei neuronale Netze gegeneinander trainiert werden: ein Generator, der künstliche Daten erzeugt, und ein Diskriminator, der Fälschungen zu erkennen versucht.

Gemini

Die Modellfamilie von Google DeepMind, die von Grund auf multimodal entwickelt wurde, um Text, Bilder, Audio und Video gemeinsam zu verarbeiten.

GPT (Generative Pre-trained Transformer)

Eine Familie reiner Decoder-Transformer-Modelle, die auf großen Textkorpora darauf vortrainiert werden, das nächste Token vorherzusagen, und anschließend für verschiedene nachgelagerte Aufgaben angepasst werden.

Grok

Das große Sprachmodell und der KI-Assistent von xAI, eng mit der Plattform X (ehemals Twitter) verbunden und auf Echtzeitinformationen sowie einen lockeren Gesprächsstil ausgerichtet.

Halluzination

Wenn ein Sprachmodell flüssig und selbstsicher formulierte Inhalte erzeugt, die sachlich falsch sind oder nicht durch die zugrunde liegenden Quellen gestützt werden.

In-Context Learning

Die Fähigkeit eines Modells, eine neue Aufgabe allein aus Beispielen oder Anweisungen im Prompt zum Zeitpunkt der Inferenz zu erlernen – ohne dass sich seine Gewichte verändern.

Instruction Tuning

Das Fine-Tuning eines Modells auf vielen Aufgaben, die als Anweisungen in natürlicher Sprache formuliert sind – so befolgt es neue Anweisungen auch bei Aufgaben, die es im Training nie gesehen hat.

Jailbreak

Ein Prompt, der darauf ausgelegt ist, das Sicherheitstraining eines Modells zu umgehen, damit es Inhalte erzeugt, die es eigentlich verweigern soll.

Wissensdestillation (Knowledge Distillation)

Ein Verfahren, bei dem ein kleineres „Schüler“-Modell darauf trainiert wird, ein größeres „Lehrer“-Modell nachzuahmen – so wird ein Großteil der Leistung auf ein günstigeres und schnelleres Modell übertragen.

Wissensgraph

Ein strukturiertes Netz aus Entitäten und den Beziehungen zwischen ihnen, in dem Fakten so gespeichert werden, dass Maschinen sie abfragen und daraus Schlüsse ziehen können.

Latenz

Die Verzögerung zwischen dem Absenden eines Prompts und dem Erhalt der Antwort. Größere Modelle und längere Kontexte erhöhen die Latenz – der wichtigste Geschwindigkeitsfaktor in KI-Produkten.

Llama

Die von Meta offen veröffentlichte Familie großer Sprachmodelle, die leistungsstarke, lokal ausführbare Modelle für Forschende und Entwickler breit zugänglich gemacht hat.

LLM (großes Sprachmodell)

Ein neuronales Netz, das mit riesigen Textmengen darauf trainiert wurde, das nächste Token vorherzusagen, und dadurch über allgemeine Fähigkeiten zum Sprachverständnis und zur Sprachgenerierung verfügt.

LoRA (Low-Rank Adaptation)

Eine ressourcenschonende Fine-Tuning-Methode: Die ursprünglichen Gewichte bleiben eingefroren, trainiert werden nur kleine zusätzliche Matrizen.

LSTM (Long Short-Term Memory)

Eine Architektur rekurrenter neuronaler Netze, die mithilfe von Gates Informationen über lange Sequenzen hinweg speichern kann – vor den Transformern der Standard in der Sequenzmodellierung.

MCP (Model Context Protocol)

Ein offener Standard, der KI-Assistenten über eine gemeinsame Schnittstelle mit externen Tools und Datenquellen verbindet – eine einmal gebaute Integration lässt sich so modellübergreifend wiederverwenden.

Mixture of Experts (MoE)

Eine Architektur, die jede Eingabe nicht durch das gesamte Modell, sondern nur durch wenige spezialisierte Teilnetze leitet – das ermöglicht eine große Modellkapazität bei geringeren Kosten pro Anfrage.

Model Card

Ein kurzes, standardisiertes Dokument, das den vorgesehenen Einsatzzweck eines Modells, seine Leistung in verschiedenen Gruppen und seine Grenzen beschreibt – für eine transparente und verantwortungsvolle Veröffentlichung.

Multimodal

Bezeichnet ein Modell, das verschiedene Datenarten – etwa Text, Bilder, Audio und Video – innerhalb eines Systems gemeinsam verarbeitet.

Nucleus Sampling (Top-p)

Ein Decoding-Verfahren, das das nächste Token aus der kleinsten Kandidatenmenge zieht, deren kumulierte Wahrscheinlichkeit p erreicht – so werden sowohl repetitive als auch zusammenhanglose Texte vermieden.

Perplexität (Perplexity)

Eine klassische intrinsische Kennzahl für die Qualität eines Sprachmodells: Sie gibt an, wie „überrascht“ das Modell von bislang unbekanntem Text ist. Je niedriger der Wert, desto besser sagt das Modell echten Text voraus.

Prompt

Der Text, den Sie einem Modell geben, um eine gewünschte Antwort zu erhalten. Formulierung, Beispiele und Struktur haben großen Einfluss auf die Qualität des Ergebnisses.

Prompt Injection

Ein Angriff, bei dem bösartige Anweisungen – direkt oder über abgerufene Inhalte – in die Eingabe eines Modells eingeschleust werden, um dessen System-Prompt auszuhebeln oder sein Verhalten zu kapern.

Quantisierung

Das Speichern von Modellgewichten mit geringerer numerischer Genauigkeit, um den Speicherbedarf zu senken und die Inferenz zu beschleunigen – meist mit nur geringem Qualitätsverlust.

RAG (Retrieval-Augmented Generation)

Eine Technik, die zum Zeitpunkt der Anfrage relevante Dokumente abruft und dem Sprachmodell mitgibt – so stützt sich die Antwort auf echte Quellen statt allein auf das Gedächtnis des Modells.

Red Teaming

Das gezielte Testen eines Modells mit feindseligen Eingaben, um vor dem Einsatz schädliches, unsicheres oder richtlinienwidriges Verhalten aufzudecken.

Reranking

Ein zweiter Retrieval-Schritt, der die zunächst gefundenen Kandidaten mit einem präziseren Modell neu bewertet und die tatsächlich relevantesten Ergebnisse nach oben holt.

RLHF (Reinforcement Learning from Human Feedback)

Eine Trainingsmethode, die menschliche Präferenzbewertungen nutzt, um einem Modell beizubringen, welche Antworten Menschen tatsächlich bevorzugen – das macht es hilfreicher und besser auf die Absicht abgestimmt.

ROUGE

Eine Familie automatischer Metriken für Textzusammenfassungen, die die Überschneidung zwischen generiertem Text und von Menschen verfassten Referenzzusammenfassungen messen.

Skalierungsgesetze (Scaling Laws)

Empirische Gesetzmäßigkeiten, die zeigen, wie sich die Leistung eines Modells mit mehr Parametern, Daten und Rechenleistung vorhersagbar verbessert.

Selbstkonsistenz (Self-Consistency)

Ein Reasoning-Verfahren, das für dieselbe Frage mehrere Gedankenketten erzeugt und die Antwort übernimmt, auf die sich die meisten davon einigen.

Sequence-to-Sequence (Seq2Seq)

Eine neuronale Encoder-Decoder-Architektur, die eine Sequenz in eine andere überführt – das Design, das neuronale maschinelle Übersetzung und später generative Chats möglich gemacht hat.

Spekulatives Decoding (Speculative Decoding)

Eine Technik zur Beschleunigung der Inferenz: Ein kleines, schnelles Modell entwirft mehrere Tokens, die ein großes Modell auf einmal prüft – schnellere Ausgabe bei identischem Ergebnis.

Stable Diffusion

Ein offenes Text-zu-Bild-Modell auf Basis latenter Diffusion, das hochwertige Bildgenerierung auf handelsüblicher Consumer-Hardware möglich gemacht hat.

Streaming

Die Übertragung der Antwort eines Modells Token für Token, während sie entsteht, statt auf die vollständige Antwort zu warten – so erscheint der Text nach und nach.

System-Prompt

Verborgene, vorrangige Anweisungen, die Rolle, Tonfall und Regeln eines Modells schon vor Gesprächsbeginn festlegen und den Rahmen für alle folgenden Antworten bilden.

Temperature

Eine Einstellung, die steuert, wie zufällig die Ausgabe eines Modells ausfällt: Ein niedriger Wert liefert konsistente, vorhersehbare Antworten, ein hoher Wert vielfältigere und kreativere.

Token

Die Einheit, die ein Sprachmodell tatsächlich liest und schreibt – meist ein Wortbestandteil statt eines ganzen Wortes. Kontextlimits, Preise und Geschwindigkeit werden allesamt in Tokens gemessen.

Passendes Tool: KI-Token-Zähler.

Tool Use / Function Calling

Die Fähigkeit eines Modells, externe Funktionen – etwa Websuche, Codeausführung oder Datenbankabfragen – selbst aufzurufen und die Ergebnisse in seine Antwort einzubeziehen.

Transformer

Die Architektur neuronaler Netze hinter nahezu allen modernen großen Sprachmodellen – aufgebaut auf einem Mechanismus namens Self-Attention statt auf Rekurrenz oder Faltung.

Tree of Thoughts (ToT)

Ein Reasoning-Framework, mit dem ein Modell mehrere sich verzweigende Lösungswege erkundet, bewertet und bei Bedarf zurückgeht – gezieltes Suchen statt eines einzigen Versuchs.

VAE (Variational Autoencoder)

Ein generatives Modell, das einen probabilistischen latenten Raum erlernt und damit Daten sowohl komprimieren als auch neue Beispiele daraus erzeugen kann.

Vektordatenbank

Eine Datenbank, die nicht nach exakten Übereinstimmungen, sondern nach Embedding-Ähnlichkeit indexiert und sucht – so findet sie inhaltlich verwandte Inhalte in Millisekunden.

Vision Transformer (ViT)

Ein Transformer, der direkt auf Bildausschnitte (Patches) angewendet wird – er hat gezeigt, dass die Architektur hinter Sprachmodellen auch in der Computer Vision hervorragend funktioniert.

Watermarking

Das Einbetten eines unauffälligen, aber statistisch nachweisbaren Signals in KI-generierten Text, damit dieser später als maschinell erzeugt erkannt werden kann.

Whisper

Das Spracherkennungsmodell von OpenAI, trainiert mit einem sehr großen und vielfältigen Audiodatensatz, um Sprache in vielen Sprachen zuverlässig zu transkribieren und zu übersetzen.

Zero-Shot-Prompting

Die Bitte an ein Modell, eine Aufgabe ganz ohne Beispiele zu lösen – allein auf Grundlage der Anweisung und des im Vortraining erworbenen Wissens.