نماذج اللغة الكبيرة الحديثة تفهم العربية الفصحى وتكتبها جيداً، وتفهم اللهجات الشائعة مثل الخليجية والمصرية والشامية بدرجات متفاوتة، لأن كمية النصوص المتاحة لكل لهجة تختلف. نقاط الضعف المعتادة: اللهجات الأقل انتشاراً كتابةً، العربيزي، التشكيل، الأسماء المحلية، وأحياناً الدقة في المعلومات المحلية. والعربية قد تستهلك رموزاً (Tokens) أكثر من الإنجليزية لنفس المعنى في بعض النماذج، مما يؤثر على التكلفة. الحل العملي: اختبر النموذج على أمثلة حقيقية من جمهورك، وحدد اللهجة والنبرة في التعليمات، واربطه ببياناتك.
- هل الذكاء الاصطناعي يفهم اللهجة السعودية
- افضل ذكاء اصطناعي باللغة العربية
- نموذج لغة عربي
- هل chatgpt يفهم اللهجات العربية
- جيس وعلام نماذج عربية
هل تفهم نماذج الذكاء الاصطناعي العربية ولهجاتها؟
نعم، نماذج الذكاء الاصطناعي الحديثة تفهم العربية جيداً، والفصحى أقوى ما لديها، واللهجات تتفاوت. السبب أن النموذج يتعلم من النصوص المتاحة، والفصحى موجودة بكثرة في الأخبار والكتب والمواقع، بينما اللهجات تُكتب أساساً في وسائل التواصل والمحادثات، بكميات وتهجئات مختلفة. لذلك قد يفهم النموذج «وش تبي؟» بسهولة، لكنه يتعثر في كلمة محلية نادرة أو مثل شعبي.
هذا مهم لكل من يبني منتجاً عربياً: شات بوت لمتجر، مساعد لعيادة، بوت WhatsApp، أو حتى أداة بناء تطبيقات تكتب لها وصفك بالعربي. معرفة أين يتميز النموذج وأين يحتاج مساعدة توفر عليك أخطاء محرجة أمام العملاء.
| نوع النص | الأداء المعتاد | ملاحظة |
|---|---|---|
| الفصحى الحديثة | قوي في الفهم والكتابة | قد يميل لأسلوب رسمي زائد إن لم توجهه |
| الخليجية والمصرية والشامية | فهم جيد عادة، كتابة متفاوتة | اطلب اللهجة صراحة وأعطِ أمثلة |
| لهجات أقل انتشاراً كتابةً | متفاوت | اختبر قبل الاعتماد |
| العربيزي (عربي بحروف لاتينية وأرقام) | متفاوت | شائع في الرسائل؛ اختبره إن كان جمهورك يستخدمه |
| خلط العربية والإنجليزية | جيد عادة | حدد لغة الرد في التعليمات |
| النص المشكول والشعر | متفاوت | التشكيل الدقيق ليس نقطة قوة مضمونة |
لماذا العربية صعبة على النماذج؟
العربية ليست مجرد لغة أخرى مترجمة. فيها خصائص تجعل معالجتها أصعب من الإنجليزية:
- الصرف الغني: كلمة واحدة مثل «فسيكفيكهم» تحمل حرف عطف وفعلاً وضمائر. النموذج يحتاج تفكيكها ليفهمها.
- غياب التشكيل غالباً: «علم» قد تكون عَلَم أو عِلم أو عَلِمَ، والسياق وحده يحدد.
- تعدد التهجئات: أ/إ/ا، ة/ه، ى/ي، إضافة إلى التطويل والأخطاء الإملائية الشائعة.
- الفرق بين المكتوب والمحكي: الناس يكتبون كما يتكلمون في المحادثات، وكل منطقة بطريقتها.
- المعرفة المحلية: أسماء الأحياء والعلامات التجارية والمناسبات المحلية أقل حضوراً في بيانات التدريب من نظيراتها العالمية.
النموذج يفهم العربية كما يفهمها من قرأ كثيراً، لا كما يفهمها من عاش في حيّك.
الرموز (Tokens) والعربية: لماذا قد تدفع أكثر؟
النماذج لا تقرأ الكلمات بل الرموز، وهي أجزاء من الكلمات. في بعض النماذج، تُقسّم الكلمة العربية إلى رموز أكثر من الكلمة الإنجليزية المقابلة، لأن أداة التقسيم صُممت مع نصوص إنجليزية أكثر. والنماذج الأحدث حسّنت هذا كثيراً، لكن الفرق يختلف من نموذج لآخر.
- التكلفة: الفوترة غالباً بعدد الرموز، فنفس المحادثة قد تكلف أكثر بالعربية في بعض النماذج.
- طول السياق: إذا كان النص العربي يستهلك رموزاً أكثر، يتسع سياق النموذج لنص أقل.
- السرعة: رموز أكثر تعني وقتاً أطول قليلاً لكتابة الرد.
النماذج العربية الإقليمية: هل تحتاجها؟
إلى جانب النماذج العالمية متعددة اللغات، ظهرت جهود إقليمية تركز على العربية، منها Jais الذي طُوّر في الإمارات، وALLaM من الهيئة السعودية للبيانات والذكاء الاصطناعي (SDAIA)، وعائلة Falcon من معهد الابتكار التكنولوجي في أبوظبي ومنها نسخ موجهة للعربية. هذه النماذج تتطور باستمرار، وإصداراتها وشروط استخدامها تتغير.
- قوي غالباً في التفكير والبرمجة والمهام المعقدة
- يدعم العربية والإنجليزية معاً بسهولة
- منظومة أدوات ووثائق واسعة
- قد يكون أقل معرفة بالتفاصيل المحلية
- قد يكون أقوى في الأسلوب العربي وبعض المعرفة المحلية
- بعضها متاح للتشغيل في بنية داخلية أو محلية
- مفيد عندما تهم إقامة البيانات أو السيادة
- قدراته في المهام العامة تختلف من نموذج لآخر
كيف تختبر نموذجاً على العربية قبل اعتماده؟
الاختبار المنظم يسمى Evals، ولا يحتاج فريق أبحاث. يكفي جدول وساعتان:
- 1اجمع أمثلة حقيقية
30 إلى 50 رسالة أو مهمة من عملائك الفعليين: أسئلة WhatsApp، شكاوى، طلبات بحث، بلهجاتهم وأخطائهم الإملائية.
- 2اكتب الإجابة المقبولة
لكل مثال، ما الذي يجب أن يحتويه الرد الصحيح؟ وما الذي يجب ألا يقوله؟
- 3شغّل نفس الأمثلة على كل نموذج
بنفس التعليمات ونفس البيانات، حتى تكون المقارنة عادلة.
- 4قيّم بمعايير واضحة
الصحة، فهم اللهجة، مناسبة النبرة، الالتزام بالمصادر، الطول، والتكلفة والسرعة.
- 5أعد الاختبار عند كل تغيير
عندما تغيّر النموذج أو التعليمات، شغّل نفس المجموعة لتتأكد أن شيئاً لم ينكسر.
| معيار التقييم | سؤال الاختبار |
|---|---|
| فهم اللهجة | هل فهم «ابي اغير موعدي لبعد بكرة» بشكل صحيح؟ |
| الالتزام بالبيانات | هل اخترع سعراً أو سياسة غير موجودة؟ |
| النبرة | هل رد بلهجة مناسبة دون تكلف أو مبالغة؟ |
| المخاطبة | هل خاطب العميلة بصيغة المؤنث عندما كان ذلك واضحاً؟ |
| الأرقام والتواريخ | هل كتب الأرقام والتاريخ الهجري والميلادي بالشكل المطلوب؟ |
نصائح عملية لمن يبني منتجاً عربياً
- حدد اللهجة والنبرة صراحة: «رد بلهجة سعودية بيضاء ودودة ومختصرة» أفضل من «رد بالعربي».
- أعطِ أمثلة: ردّان أو ثلاثة بالأسلوب المطلوب داخل التعليمات تحسن النتيجة كثيراً.
- حدد شكل الأرقام: أرقام غربية 0-9 أو هندية، والعملة ر.س أو SAR أو د.إ.
- التواريخ: اطلب صيغة واضحة، والهجري مع الميلادي عند الحاجة، واحسب التواريخ في الكود لا في النموذج.
- صيغة المخاطبة: المذكر والمؤنث مهمان في العربية؛ استخدم صياغة محايدة أو اعتمد على بيانات الحساب.
- اربطه ببياناتك: للحقائق المحلية والأسعار، لا تعتمد على ذاكرة النموذج؛ استخدم RAG وقاعدة البيانات، كما في شات بوت يجيب من بياناتك.
- الواجهة ليست مسؤولية النموذج: الاتجاه من اليمين لليسار والخطوط وعلامات الترقيم تُضبط في التصميم.
وعند استخدام الذكاء الاصطناعي لبناء التطبيق نفسه، هل تكتب وصفك باللهجة أم بالفصحى؟ ناقشنا ذلك بالتفصيل في الكتابة باللهجة الخليجية أم الفصحى.
ابنِ منتجك العربي بأداة تفهم العربية
فنّان صُمم للعربية أولاً: تصف تطبيقك بأي لهجة، والوكيل يبني واجهة من اليمين لليسار، والتواريخ الهجرية، والدفع المحلي. وإذا كان تطبيقك نفسه يحتوي ميزة ذكاء اصطناعي، فالوكيل يبنيها مع التعليمات والاختبارات.
ابنِ لي أداة داخلية بسيطة لاختبار ردود الذكاء الاصطناعي على رسائل عملائي بالعربي. الأداة فيها: جدول أمثلة أرفع فيه رسائل حقيقية مع الإجابة المقبولة لكل رسالة، وصفحة لتشغيل نفس الأمثلة على نموذجين مختلفين بنفس التعليمات، وصفحة تقييم يضع فيها الموظف درجة من 1 إلى 5 لكل من: فهم اللهجة، الصحة، النبرة، والالتزام بالبيانات. أضف ملخصاً يقارن متوسط الدرجات وعدد الرموز لكل نموذج. الواجهة عربية من اليمين لليسار، والدخول برقم الجوال برمز OTP للموظفين فقط. اعرض الخطة قبل البناء.
جرّبه في فنّانالخطوة التالية: اجمع اليوم 30 رسالة حقيقية من عملائك، فهي أثمن ما تملكه لاختيار النموذج المناسب وكتابة تعليماته. ولأساسيات النماذج والرموز والسياق، اقرأ نماذج اللغة لأصحاب الأعمال.
الخلاصة
- الفصحى نقطة قوة لمعظم النماذج الحديثة؛ اللهجات تتفاوت حسب كمية النصوص المكتوبة بها.
- الفهم عادة أقوى من الكتابة: النموذج قد يفهم لهجتك جيداً لكن يكتب بها بشكل متكلف.
- العربية قد تحتاج رموزاً أكثر لنفس المعنى في بعض النماذج، فتختلف التكلفة وطول السياق المتاح.
- النماذج العربية الإقليمية مثل Jais وALLaM وFalcon خيارات تستحق المقارنة، لكن القرار يكون بالاختبار لا بالسمعة.
- ابنِ مجموعة اختبار من 30 إلى 50 مثالاً حقيقياً من عملائك وقيّم بها أي نموذج قبل اعتماده.
أسئلة شائعة
هل الذكاء الاصطناعي يفهم اللهجة السعودية؟
ما أفضل ذكاء اصطناعي باللغة العربية؟
لماذا تكلف العربية أكثر في بعض النماذج؟
هل يفهم الذكاء الاصطناعي العربيزي؟
هل أكتب التعليمات للنموذج بالعربي أم بالإنجليزي؟
اسأل مساعدك الذكي عن هذا الموضوع
انسخ هذا الطلب والصقه في مساعد الذكاء الاصطناعي الذي تستخدمه، ثم أضف تفاصيل حالتك.
أقرأ هذا الدليل: «كيف تتعامل نماذج الذكاء الاصطناعي مع العربية ولهجاتها؟» https://fanann.com/ar/blog/arabic-language-models/ سؤالي: هل الذكاء الاصطناعي يفهم اللهجة السعودية اعتمد على هذه الصفحة كمصدر واشرح لي الإجابة خطوة بخطوة بما يناسب حالتي، واذكر ما يجب أن أتحقق منه قبل أن أبدأ، واذكر رابط الصفحة كمرجع.