KI-Token-Zähler

Was ist ein KI-Token?

Große Sprachmodelle lesen Zeichen oder Wörter nicht direkt – sie lesen Tokens. Ein Token ist ein Textstück, das das Modell als eine Einheit zu verarbeiten gelernt hat. Im Englischen entspricht ein Token grob vier Zeichen. Ein kurzes Wort wie „the“ ist ein Token, „tokenization“ dagegen kann zwei oder drei sein.

Tokens sind aus drei praktischen Gründen wichtig. Erstens hat jedes Modell eine Höchstzahl an Tokens, die es auf einmal verarbeiten kann – sein Kontextfenster. Zweitens rechnen API-Anbieter pro Token ab, getrennt nach Input und Output. Drittens hängt die Antwortgeschwindigkeit von der Token-Anzahl ab – mehr Tokens bedeuten mehr Rechenaufwand und längere Wartezeiten.

Wenn Sie die Token-Anzahl vor dem Senden kennen, bleiben Sie innerhalb des Kontextfensters, können die Kosten vorhersagen und überflüssigen Text streichen, der nichts beiträgt.

Wie genau ist dieser Zähler?

Für OpenAI-Chatmodelle, die diesen Tokenizer verwenden, nutzt dieses Tool die Bibliothek tiktoken mit der Kodierung cl100k_base – derselbe Tokenizer, den die API serverseitig verwendet. Die Zählung stimmt bis aufs Byte genau.

Claude, Gemini und Grok verwenden eigene Tokenizer, die nicht vollständig öffentlich sind. Wir schätzen sie anhand von Textstatistiken: Claude tokenisiert Englisch mit etwa dem 0,95-Fachen der GPT-Rate, Gemini mit etwa dem 0,90-Fachen, und Grok liegt ungefähr gleichauf mit GPT. Rechnen Sie mit einer Abweichung von 5–10 % zur tatsächlichen Anzahl – genau genug für die Planung des Kontextfensters oder die Kostenschätzung.

FAQ