عدّاد رموز الذكاء الاصطناعي

ما هو رمز الذكاء الاصطناعي (Token)؟

لا تقرأ النماذج اللغوية الكبيرة الأحرف أو الكلمات مباشرة — بل تقرأ الرموز (Tokens). الرمز هو جزء من النص تعلّم النموذج التعامل معه كوحدة واحدة. في اللغة الإنجليزية، يبلغ متوسط طول الرمز نحو أربعة أحرف: فكلمة قصيرة مثل "the" تُعد رمزًا واحدًا، بينما قد تُقسّم كلمة "tokenization" إلى رمزين أو ثلاثة.

تهم الرموز لثلاثة أسباب عملية. أولًا، لكل نموذج حد أقصى من الرموز يمكنه معالجتها دفعة واحدة — وهو ما يُعرف بـ نافذة السياق. ثانيًا، يتقاضى مزوّدو API رسومًا لكل رمز، بشكل منفصل للمدخلات والمخرجات. ثالثًا، تعتمد سرعة الاستجابة على عدد الرموز: فكلما زاد عددها زاد الحساب المطلوب وطال الانتظار.

معرفة عدد الرموز قبل إرسال الطلب تتيح لك البقاء ضمن النافذة، وتوقع التكلفة، وتقليم النص الذي لا يضيف قيمة تُذكر.

ما مدى دقة هذا العدّاد؟

بالنسبة إلى نماذج محادثة OpenAI التي تستخدم أداة الترميز هذه، تعتمد هذه الأداة على tiktoken مع ترميز cl100k_base — بما يطابق تمامًا أداة الترميز المستخدمة من جانب الخادم في الـAPI. والعدّ دقيق حتى مستوى البايت الواحد.

تستخدم Claude وGemini وGrok أدوات ترميز خاصة غير معلنة بالكامل. لذا نقدّرها اعتمادًا على إحصاءات النص: يرمّز Claude النص الإنجليزي بمعدل يقارب 0.95× معدل GPT، وGemini بمعدل 0.90×، بينما يقترب Grok من معدل GPT تقريبًا. توقّع أن يكون التقدير ضمن هامش 5–10% من العدد الفعلي — وهو دقيق بما يكفي للتخطيط لنافذة السياق وتقدير التكلفة.

الأسئلة الشائعة