عندما تبني شركات الذكاء الاصطناعي نماذج لغوية كبيرة، كثيراً ما تفترض أن الكمية تعني الجودة. بالنسبة للإنجليزية يعمل هذا في الغالب، أما للعربية والعبرية فيفشل.
مشكلة العربية: اللهجات والخلط اللغوي وغياب السياق
العربية ليست لغة واحدة. الفصحى هي ما تستخدمه الكتب والوثائق الرسمية. لكن أكثر من 400 مليون عربي يتحدثون بلهجاتهم — المصرية، والخليجية، والشامية، والمغربية — كل منها بمفردات وأنماط نحوية مميزة.
مشكلة العبرية: ضعف التمثيل في بيانات التدريب
حجم المحتوى العبري على الإنترنت صغير نسبياً، وما هو متاح منه رسمي في الغالب. العبرية الإسرائيلية المحكية ممثَّلة تمثيلاً ضعيفاً جداً في مجموعات بيانات التدريب.
في AXOVATE، نجمع ونوسّم البيانات العبرية والعربية لشركات الذكاء الاصطناعي بمتحدثين أصليين.