أصبح التعلم المعزز من خلال التغذية الراجعة البشرية (RLHF) التقنية القياسية لمحاذاة النماذج اللغوية الكبيرة مع التفضيلات البشرية. لكن جودة بيانات التفضيل — الأزواج من ردود النموذج المُصنَّفة بـ "مُختار" مقابل "مرفوض" من قِبل المُوصِّفين البشريين — هي التي تحدد كل شيء. الأزواج السيئة تنتج نماذج غير متوافقة. ولا يكون خطر الأزواج السيئة أعلى في أي مكان مما هو عليه في العربية.
ما هو زوج التفضيل فعلاً
يتكون زوج التفضيل من: موجّه (المدخل للنموذج)، واستجابة مُختارة (التي يفضّلها المُوصِّف البشري)، واستجابة مرفوضة (التي لا يفضّلها)، وتبرير اختياري يشرح لماذا الاستجابة المُختارة أفضل.
أين يسير توصيف التفضيل العربي بشكل خاطئ
التشوش في مستوى الرسمية
الفصحى والعربية العامية كلتاهما صحيحتان في سياقهما. مُوصِّف ذو خلفية أكاديمية رسمية قد يفضّل باستمرار ردود الفصحى حتى عندما يكون الموجّه بلهجة مصرية — منتجاً إشارة مكافأة تدفع النموذج نحو رسمية غير مناسبة في السياقات التحادثية.
نقاط عمياء للحساسية الدينية
كثيراً ما تتضمن الردود العربية تعابير دينية (إن شاء الله، الحمد لله) محايدة ثقافياً في السياق، لكن قد يُصنِّفها مُوصِّفون غير أصليين تطبيقاً لإرشادات أمان عامة بشكل غير صحيح.
التعامل مع التحويل بين الشفرات
كثير من الموجّهات العربية الفعلية تحتوي على مصطلحات تقنية إنجليزية. الاستجابة "المُختارة" التي تحتفظ بالمصطلح الإنجليزي بشكل صحيح قد يتم تخفيض درجتها بشكل غير صحيح من قِبل مُوصِّف يفضّل الترجمة الكاملة إلى العربية — حتى عندما تكون الترجمة غير طبيعية.
إطار عمل AXOVATE
تغطي إرشادات توصيف RLHF لديها للعربية: مطابقة اللهجة-المستوى (يجب أن تتطابق الردود مع مستوى الموجّه)، معايرة الحياد الثقافي من خلال مجموعات معايرة مشتركة قبل بدء التوصيف الحي، تنسيق تبرير منظم مُرمَّز على أبعاد (الدقة، الطبيعية، الملاءمة الثقافية، السلامة)، وتوصيف مزدوج مع تحكيم من طرف لغوي أول للخلافات.
يصل IAA على مهام تفضيل RLHF بالعربية إلى Krippendorff's α ≥ 0.76 مع هذا الإطار — أعلى من متوسط مجموعات بيانات تفضيل اللغة الإنجليزية المنشورة.
تعرّف على خدمات بيانات الذكاء الاصطناعي أو تواصل معنا لمناقشة مشروعك.