المواءمةالسلامة تحديث 2026

المواءمة

التعريف

العمل على جعل سلوك نظام الذكاء الاصطناعي متوافقًا مع نوايا البشر وقيمهم — ولماذا يتّبع النموذج التعليمات بموثوقية ويرفض الطلبات الضارة.

تهدف أبحاث المواءمة إلى ضمان أن تفعل النماذج القادرة ما يريده مصمّموها ومستخدموها فعلًا. ومن التقنيات العملية التعلّم من التفضيلات البشرية (Christiano وزملاؤه، 2017)، واتّباع التعليمات عبر RLHF (Ouyang وزملاؤه، 2022)، والتحسين الذاتي الموجَّه بالقواعد كما في Constitutional AI (Bai وزملاؤه، 2022).

المواءمة مشكلة مفتوحة لا خانة اختيار محسومة: فكلما ازدادت قدرات النماذج، صار تحديد السلوك المقصود والتحقق منه أصعب لا أسهل.

المراجع

مصادر أولية ومحكّمة وأرشيفية لهذا التعريف.

Deep Reinforcement Learning from Human Preferences

Christiano, P., Leike, J., Brown, T. B., Martic, M., Legg, S., & Amodei, D. (2017). Advances in Neural Information Processing Systems 30 (NeurIPS 2017).

المصدر arXiv:1706.03741

Training language models to follow instructions with human feedback

Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., et al. (2022). Advances in Neural Information Processing Systems 35 (NeurIPS 2022).

المصدر arXiv:2203.02155

Constitutional AI: Harmlessness from AI Feedback

Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., et al. (2022). arXiv preprint (Anthropic).

المصدر arXiv:2212.08073