כאשר חברות בינה מלאכותית בונות מודלים שפתיים גדולים, הן נוטות להניח שכמות שווה לאיכות. לאנגלית, ההנחה הזו עובדת ברוב המקרים. לערבית ועברית, היא נכשלת — והכשל מופיע ישירות בביצועי המוצר שלך.
בעיית הערבית: ניבים, החלפות קוד, וחוסר הקשר
ערבית אינה שפה אחת. ערבית ספרותית מודרנית (פֻסְחָא) היא מה שספרי הלימוד והמסמכים הרשמיים משתמשים בהם. אבל יותר מ-400 מיליון דוברי ערבית מדברים בפועל בניבים — מצרי, מפרצי, לבנטי, מרוקאי — כל אחד עם אוצר מילים, דקדוק והפניות תרבותיות שונות.
מודל שמתאמן רק על טקסט מהרשת מקבל בעיקר ערבית רשמית ומייצר תגובות רשמיות. גרוע יותר — החלפת קוד (code-switching), מיזוג ערבית עם אנגלית או צרפתית באמצע משפט, היא הדרך שבה משתמשים ערבים משכילים מתקשרים ברשת בפועל.
בעיית העברית: חסר ייצוג בנתוני האימון
יש כ-9 מיליון דוברי עברית בעולם. טקסט עברי הזמין באינטרנט הוא בעיקרו רשמי, עיתונאי או ממשלתי. עברית ישראלית מדוברת, כולל סלנג מודרני, ז'רגון טכנולוגי ומילים שאולות מאנגלית, ערבית ורוסית, כמעט לא מיוצגת במאגרי הנתונים לאימון מודלים שפתיים.
לעברית יש גם מורכבות מורפולוגית עמוקה. שורש בודד כמו ק–ט–ל יכול לייצר עשרות צורות מוטות. עברית כתובה מודרנית משמיטה ניקוד כמעט לחלוטין, ומאלצת את המודל להסיק משמעות מהקשר — דבר שמודלים שהוכשרו על טקסט מנוקד פשוט לא יכולים לעשות בצורה אמינה.
מה נתוני דוברים מקוריים מתקנים
- כיסוי ניבים — ערבית מצרית, מפרצית, לבנטית ומרוקאית בדיבור טבעי ולא פורמלי
- דפוסי החלפת קוד — מיזוג ריאלי של עברית-אנגלית וערבית-אנגלית
- הקשר תרבותי — הפניות, ביטויים, ורגישויות שמאגר נתונים שנאסף אוטומטית לא יכול ללכוד
- איכות תיוג — דובר מקורי שמתייג רגשות או תוכן מזיק מביא הבנה תרבותית שנוסחת מורגמת לא יכולה לשכפל
כיצד AXOVATE פועלת בתחום זה
ב-AXOVATE אנו אוספים ומתייגים נתוני עברית וערבית עבור חברות בינה מלאכותית עם מאגר של 100+ דוברים מקוריים בניבים ורמות שונות. הכיסוי שלנו כולל ערבית מצרית, מפרצית, לבנטית ומרוקאית, כמו גם עברית ישראלית מדוברת ורשמית. כל פרויקט מסופק עם דוחות IAA לכל קבוצה, ומעוּבָּד מחדש ללא עלות אם לא מגיע לסף האיכות המוסכם.
אם אתם בונים בינה מלאכותית עבור משתמשים דוברי ערבית או עברית, דברו איתנו על הדרישות הספציפיות שלכם לנתונים.