عندما تبني شركات الذكاء الاصطناعي نماذج لغوية كبيرة، كثيراً ما تفترض أن الكمية تعني الجودة. بالنسبة للغة الإنجليزية، ينجح هذا الافتراض في الغالب. أما بالنسبة للعربية والعبرية، فإنه يفشل — وهذا الفشل يظهر مباشرة في أداء منتجك.
مشكلة العربية: اللهجات، والتحويل بين الشفرات، وغياب السياق
العربية ليست لغة واحدة. العربية الفصحى هي ما تستخدمه الكتب المدرسية والوثائق الرسمية. لكن أكثر من 400 مليون ناطق بالعربية يتحدثون فعلياً باللهجات — المصرية، والخليجية، والشامية، والمغربية — كل منها له مفرداته وقواعده ومرجعياته الثقافية المختلفة.
النموذج المُدرَّب فقط على نصوص الويب يحصل في الغالب على العربية الرسمية وينتج ردوداً رسمية. والأسوأ من ذلك أن التحويل بين الشفرات — مزج العربية بالإنجليزية أو الفرنسية في منتصف الجملة — هو الطريقة التي يتواصل بها المستخدمون العرب المتعلمون عبر الإنترنت فعلاً. إذا لم تتضمن بيانات تدريبك هذا النمط، فلن يتعامل معه نموذجك بكفاءة.
تأمل هذا الاستعلام الشائع من مستخدم خليجي: "الـ chatbot مو شاطر". هذا الاستعلام يمزج مفردات اللهجة الخليجية مع كلمة مستعارة من الإنجليزية. النموذج المُدرَّب فقط على النصوص الإخبارية بالعربية الفصحى إما سيفشل في تحليله أو سينتج رداً رسمياً متصنعاً يخطئ السياق تماماً.
مشكلة العبرية: نقص التمثيل في بيانات التدريب
يوجد حوالي 9 ملايين ناطق بالعبرية في العالم. النص العبري المتاح على الإنترنت يتميز في الغالب بالطابع الرسمي الصحفي أو الحكومي. العبرية الإسرائيلية المحكية، بما فيها العامية الحديثة والمصطلحات التقنية والكلمات المستعارة من الإنجليزية والعربية والروسية، تكاد تكون غائبة عن مجموعات بيانات تدريب النماذج اللغوية الكبيرة.
ما الذي تُصلحه بيانات الناطقين الأصليين
- التغطية اللهجية — العربية المصرية والخليجية والشامية والمغربية في الكلام الطبيعي وغير الرسمي
- أنماط التحويل بين الشفرات — المزج الواقعي بين العبرية-الإنجليزية والعربية-الإنجليزية
- السياق الثقافي — المراجع والتعابير الاصطلاحية والحساسيات التي لا يمكن لمجموعة بيانات مجموعة آلياً التقاطها
- جودة التوصيف — الناطق الأصلي الذي يصنف المشاعر أو المحتوى الضار يجلب فهماً ثقافياً لا يستطيع بديله المترجم تقديمه
كيف تعمل AXOVATE
تجمع AXOVATE وتوصف بيانات العبرية والعربية لشركات الذكاء الاصطناعي من خلال مجموعة تضم أكثر من 100 متحدث أصلي عبر اللهجات والمستويات. تغطيتنا تشمل العربية المصرية والخليجية والشامية والمغربية، فضلاً عن العبرية الإسرائيلية المحكية والرسمية. كل مشروع يُسلَّم مع تقارير IAA لكل دفعة، وتُعاد معالجته بدون تكلفة إضافية إذا لم يصل إلى عتبة الجودة المتفق عليها.
إذا كنت تبني ذكاءً اصطناعياً للمستخدمين الناطقين بالعربية أو العبرية، استكشف خدمات بيانات الذكاء الاصطناعي أو تحدث إلينا حول متطلباتك المحددة من البيانات.