GPT-3 kollec tələbəsi səviyyəsində əsaslandırma bacarığına sahibdir
02.08.2023 /
İnsanlar yeni problemləri xüsusi hazırlıq olmadan həll edə bilirlər. Bunun üçün onlar yaranmış yeni problemi daha öncə yaşanmış oxşar problemlərlə müqayisə və həyat təcrübəsindən istifadə edirlər. Bu proses analogiya (oxşarlıq, uyğunluq) üzrə əsaslandırma adlanır və o, müstəsna olaraq insana xas olan bir keyfiyyətdir. Lakin aparılmış yeni araşdırmaya əsasən bu keyfiyyət heç də yalnız insana məxsus olmaya bilər. Kaliforniya Universitetinin psixoloqları tərəfindən aparılmış tədqiqat onu göstərib ki, OpenAI şirkətinin GPT-3 dil modeli kollec tələbələri səviyyəsində düşünmə bacarığına sahibdir. Mütəxəssislər GPT-3-ün Raven testindən (5-9 yaşlı uşaqlarda intellektin diaqnostikası üçün test) ilhamlanmış müəyyən tapşırıqları yerinə yetirməsi bacarığını yoxlayıblar.
Qeyd etmək lazımdır ki, Raven testi çərçivəsində testdən keçən şəxs mürəkkəb düzülüşlü fiqurdan ibarət təsvirdə çatışmayan hissəni yerləşdirməlidir. GPT-3-ə fiqurları görə bilmək imkanını təqdim etmək üçün təsvirlər mətn formatına konvertasiya edilib. GPT-3 isə öz növbəsində həmin mətnləri emal edib. Mütəxəssislər Kaliforniya Universitetinin 40 nəfər bakalavrından eyni tapşırığı yerinə yetirməyi xahiş ediblər. Məlum olub ki, test çərçivəsində GPT-3 tələbələr ilə eyni səviyyədə yaxşı çalışıb və üstəlik tələbələrin etmiş olduqları səhvləri edib. GPT-3 verilmiş tapşırıqları 80% doğru həll edib. Bu isə real insanların sərgiləmiş olduqları 60%-lik göstəricidən daha yuxarıdır. GPT-3 həmçinin SAT suallarına bənzəyən analoqları cavablaya bilib.
Mütəxəssislər bildiriblər ki, GPT-3-ə təqdim edilmiş tapşırıqlar heç vaxt internetdə dərc edilməytib. Bu isə o deməkdir ki, onlar böyük dil modelinin təlimatlandırılmasında istifadə edilmiş məlumatlara daxil olmayıblar. Mütəxəssislər GPT-3-ün yığmış olduğu balları kollec tələbələrinin SAT imtahanı nəticələri ilə müqayisə ediblər. Məlum olub ki, böyük dil modelinin sərgiləmiş olduğu nəticələr tələbələrin nəticələrindən yüksək olub. Daha sonra mütəxəssislər GPT-3-dən və tələbələrdən hekayələrə əsaslanmış analogiyaların öhdəsindən gəlməyi istəyiblər.
Bunun üçün mütəxəssislər GPT-3-ə və tələbələrə müəyyən hekayənin bir hissəsini təqdim ediblər və onlardan həmin hekayənin mənasına oxşar digər hekayənin təyin edilməsini istəyiblər. Bu test çərçivəsində GPT-3 tələbələrdən daha pis nəticəni sərgiləsə də, GPT-4 modeli GPT-3-dən daha yaxşı nəticələri sərgiləyib. Hal hazırda GPT-3 fiziki fəzanın başa düşülməsini tələb edən tapşırıqların yerinə yetririlməsi bacarığına sahib deyil. Alimlər böyük dil modellərinin insanlar kimi düşündüklərini və ya insan düşüncəsinin imitasiyasını yaratdıqlarını öyrənmək istəyirlər.
