العربية ليست لغة واحدة. إنها عائلة من اللهجات مع نسخة رسمية مرموقة — العربية الفصحى الحديثة — لا يكاد أحد يتحدثها في المنزل، لكن يمكن لتقريبًا الجميع قراءتها. عندما تتحدث شركات الذكاء الاصطناعي عن "بيانات تدريب LLM عربية"، فإنها تعني في الغالب الفصحى. أما المستخدمون، فيتحدثون المصرية أو الخليجية أو الشامية أو المغربية.
فخ الفصحى
الفجوة بين الفصحى والعربية المحكية المتنوعة مشابهة — من الناحية اللغوية — للفجوة بين اللاتينية والإيطالية الحديثة. ينخفض الفهم المتبادل بشكل ملحوظ بين، على سبيل المثال، الدارجة المغربية والعربية الخليجية. النموذج المدرَّب حصريًا على المدونات الإخبارية الفصحى سيؤدي بشكل مقبول في المهام الرسمية (التلخيص، النصوص القانونية) لكنه سيفشل في دعم العملاء والروبوتات المحادثة والذكاء الاصطناعي التحادثي — وهي بالضبط التطبيقات التي تبنيها معظم شركات الذكاء الاصطناعي.
توزيع اللهجات في النشر الفعلي
استناداً إلى مشاريعنا الحالية، يبدو التوزيع الواقعي لمنتج MENA على النحو الآتي:
- العربية المصرية (~33%) — أكبر مجموعة لهجية ومفهومة على نطاق واسع عبر المنطقة
- الشامية (~18%) — تغطي سوريا ولبنان والأردن وفلسطين
- الخليجية (~16%) — تشمل السعودية والإمارات والكويت والبحرين — قوة شرائية عالية واعتماد نشط للذكاء الاصطناعي
- الدارجة المغربية (~12%) — الأقل قابلية للفهم المتبادل، متأثرة بشدة بالأمازيغية والفرنسية
- الفصحى (~21%) — لا تزال ضرورية للمحتوى الرسمي لكنها غير كافية وحدها
كيف يبدو التوصيف الواعي باللهجة
يعني التوصيف الواعي باللهجة: تجنيد مُوصِّفين من الناطقين الأصليين بالاللهجة المحددة (ليس فقط "ناطقي عربية")، وتطوير إرشادات توصيف خاصة باللهجة تراعي التباين الإملائي، وتشغيل مجموعات معايرة IAA لكل لهجة، وتحديد التحولات بين الشفرات مع الإنجليزية أو الفرنسية داخل طبقة توصيف كل لهجة.
الحجة التجارية
تُفيد شركات الذكاء الاصطناعي التي تستثمر في بيانات تدريب عربية واعية باللهجة بمعدلات هلوسة أقل بشكل ملحوظ على الاستعلامات غير الرسمية ودرجات رضا مستخدمين أعلى مقارنة بالنماذج المضبوطة فقط على بيانات الفصحى.
تحتفظ AXOVATE بمجمعات مُوصِّفين نشطة للعربية المصرية والشامية والخليجية والفصحى. استكشف خدماتنا أو تحدث إلينا.