الاتفاق بين المُوصِّفين (IAA) هو المقياس الإحصائي لمدى اتساق عدة مُوصِّفين بشريين في تطبيق نفس التسميات على نفس البيانات. وهو إشارة الجودة الأساسية لأي مشروع توصيف. لكن تحقيق IAA يصعب بشكل منهجي — وهو مفهوم أقل جودة — للغات قليلة الموارد كالعربية والعبرية مقارنة بالإنجليزية.
لماذا IAA أصعب للعربية والعبرية
الغموض الإملائي
تسمح العربية والعبرية غير المشكّلتين بقراءات متعددة صالحة لنفس الكلمة المكتوبة. قد يُسنِد مُوصِّفان يصنّفان نفس الرمز تسميات مختلفة — كلاهما بشكل صحيح — لأن الشكل المكتوب غامض حقاً بدون سياق.
التباين اللهجي
قد لا تنتقل التسمية المُطبَّقة في الفصحى إلى العربية المصرية. الإرشادات المكتوبة للهجة واحدة تنتج اتفاقاً منهجياً عند تطبيقها من قِبل مُوصِّفين من خلفية لهجة أخرى.
شُح مدونات المعايرة
يمكن لمشاريع توصيف اللغة الإنجليزية الاستفادة من مجموعات بيانات معايرة كبيرة متاحة للعموم. بالنسبة للهجات العربية والعبرية، مثل هذه المجموعات شحيحة — يجب بناء المعايرة من الصفر لكل مشروع.
Cohen's Kappa مقابل Krippendorff's Alpha
Cohen's κ يقيس الاتفاق بين مُوصِّفَين بالضبط على مهمة تصنيف فئوية. هو المقياس الصحيح للتصنيف الثنائي والمهام متعددة الفئات البسيطة مع مُوصِّفَين بالضبط. الهدف: κ ≥ 0.80 للتوصيف الإنتاجي.
Krippendorff's α هو المقياس الصحيح عندما يكون لديك أكثر من مُوصِّفَين، أو مقاييس ترتيبية أو فترات (كمهام التقييم من 1 إلى 5 في RLHF)، أو مهام ذات بيانات مفقودة. الهدف: α ≥ 0.75 للتوصيف الإنتاجي. الخطأ الشائع هو استخدام Cohen's κ على مهمة تفضيل RLHF بمقياس من 1 إلى 5 — العلاقة الترتيبية تُتجاهَل، مما ينتج درجة مُضخَّمة ومضللة.
خطوات عملية لتحسين IAA
- بناء مجموعة معايرة خاصة باللهجة من 50–100 عنصر ذات تسميات معيارية ذهبية قبل بدء التوصيف الحي.
- كتابة إرشادات صريحة بالنسبة للهجة مع أمثلة من تلك اللهجة المحددة.
- تشغيل تجربة تمهيدية صغيرة من 200 عنصر وقياس IAA قبل الالتزام بالحجم الكامل.
- تسجيل أنماط الاختلاف لكل تسمية، ليس فقط النتيجة الإجمالية — الاختلاف المنهجي على تسمية واحدة قابل للتنفيذ أكثر من متوسط نظيف.
- الميزانية للتحكيم: ما يقارب 15–20% من العناصر ستحتاج إلى حل بواسطة لغوي أول في مشروع جيد التنفيذ.
ما تسأله AXOVATE للإجابة
توفر AXOVATE تقارير IAA لكل دفعة مع كل تسليم وتُعيد توصيف الدفعات التي تقع دون العتبة المتفق عليها بدون رسوم إضافية.