مجموعات اختبار منظمة لقياس جودة ردود نظام الذكاء الاصطناعي بشكل متكرر وقابل للمقارنة.
التقييمات هي الاختبارات الآلية لعالم الذكاء الاصطناعي. تجهّز قائمة أسئلة أو مهام حقيقية مع الإجابة المتوقعة أو معايير الحكم، ثم تشغّل النظام عليها وتقيس النتائج. يمكن أن يكون الحكم بمقارنة مباشرة، أو بقواعد، أو بمراجعة بشرية، أو بنموذج آخر يقيّم الرد.
بدون تقييمات، يصعب أن تعرف هل تعديل التعليمات أو تغيير النموذج حسّن الأداء أم أفسده. ومع تغيّر النماذج وتحديثها، تساعدك التقييمات على اكتشاف التراجع قبل أن يلاحظه العملاء. نصيحة عملية: ابدأ صغيرًا: 20 إلى 30 سؤالًا حقيقيًا من عملائك، تشمل حالات صعبة وأسئلة بلهجات مختلفة ومحاولات تحايل. شغّلها بعد كل تعديل مهم، واحتفظ بالنتائج لتقارن بين الإصدارات.
مثالقبل تغيير نموذج مساعد العيادة، يُشغَّل على 30 سؤالًا محفوظًا عن المواعيد والتأمين للتأكد أن الدقة لم تنخفض.
كل المصطلحات