Süni zəkanın testdən keçirilməsi ilə məşğul olan Fransanın Giskard şirkətinin tədqiqatçıları belə qənaətə gəliblər ki, ChatGPT və digər süni zəka köməkçilərinin cavabları nə qədər qısa olarsa, yanlış məlumat təqdim etmə ehtimalı bir o qədər yüksək olur. “Qısa cavab ver” və ya “iki cümlə ilə izah et” kimi sorğular modelləri həqiqəti təhrif etməyə və qeyri-dəqiq cavablar verməyə vadar edir. Məlumata əsasən tədqiqat zamanı mütəxəssislər OpenAI GPT-4o, Mistral Large və Anthropic Claude 3.7 Sonnet də daxil olmaqla məşhur dil modellərinin davranışlarını təhlil ediblər və müəyyən ediblər ki, xüsusilə qeyri-müəyyən və mübahisəli mövzularda qısa cavab tələbi modellərin daha çox səhv məlumat vermələrinə səbəb olur.

“Məlumatlarımız göstərir ki, hətta təlimatlarda edilən sadə dəyişikliklər belə modellərin halüsinasiyaya meyilliliyinə ciddi təsir göstərir” - deyə Giskard şirkətindən bildirilib. Halüsinasiyalar hələ də generativ süni zəka sahəsində əsas həll olunmamış problemlərdən biri olaraq qalır. Hətta ehtimala əsaslanan qabaqcıl modellər belə mövcud olmayan faktlar uydura bilirlər. Tədqiqat müəlliflərinin sözlərinə görə, məntiqə əsaslanan cavablar verməyə yönəlmiş yeni nəsil modellər, məsələn OpenAI-in o3 modeli, bəzən əvvəlki versiyalara nisbətən daha tez-tez halüsinasiyaya meylli olurlar ki, bu da cavabların etibarlılığına mənfi təsir göstərir. Bildirilir ki, səhvlərə meyilliliyin əsas səbəblərindən biri izah üçün məhdud yerin olmasıdır.

Modeldən qısa cavab istənildikdə, o, mövzunu tam şəkildə izah edə və sorğuda yer alan yanlış fərziyyələri təkzib edə bilmir. Halbuki bu məqam kod yazan tərtibatçılar üçün xüsusilə vacibdir, çünki “qısa ol” kimi təlimat ehtiva edən prompt cavabın keyfiyyətinə zərər vura bilər. Bundan əlavə, müşahidə olunub ki, əgər mübahisəli iddialar inamlı şəkildə ifadə olunarsa, modellər onları daha az təkzib edir. Həmçinin məlum olub ki, istifadəçilər tərəfindən ünsiyyət üçün daha rahat və xoş qiymətləndirilən süni zəka modelləri həmişə yüksək dəqiqliklə seçilmir. Giskard mütəxəssisləri süni zəka üçün təlimatların daha diqqətlə seçilməsini və cavab uzunluğuna sərt məhdudiyyətlər qoymaqdan qaçmağı tövsiyə edirlər. “Zərərsiz görünən ‘qısa ol’ kimi göstərişlər məlumatın keyfiyyətini gözəgörünməz şəkildə azalda bilər” - deyə onlar xəbərdarlıq edirlər.