Pekində yerləşən Çin Elmlər Akademiyasının Avtomatika İnstitutunun alimləri NVIDIA çipləri əvəzinə yerli çiplərdə işləmək üçün nəzərdə tutulmuş “beyinə bənzər” dil modeli SpikingBrain 1.0-ı hazırlayıblar. Sistem bioloji neyronların fəaliyyətini təqlid edir ki, bu da enerji sərfiyyatını azaltmağa və yüksək məhsuldarlığa nail olmağa imkan verir. Model ənənəvi süni intellekt sistemləri ilə müqayisə oluna biləcək nəticələr göstərir, özü də standart məlumat həcminin 2%-dən azı ilə öyrədildiyi halda. Bundan əlavə, SpikingBrain 1.0 uzun token ardıcıllıqlarını onlarla dəfə daha sürətli emal edir. Məşhur süni intellekt sistemlərinin, o cümlədən ChatGPT-nin əsasını təşkil edən transformator arxitekturası son dərəcə resurs tələb edir: öyrətmə xərcləri ardıcıllığın uzunluğu ilə kvadratik şəkildə artır, çıxış yaddaşı isə xətli şəkildə böyüyür. SpikingBrain 1.0 öz növbəsində fərqli yanaşmadan - beyin neyronlarının fəaliyyətini təqlid edən “spayk hesablamalarından” istifadə edir.

GPT kimi modellərdən fərqli olaraq, burada bütün şəbəkə aktivləşmir, SpikingBrain yalnız konkret giriş siqnallarına reaksiya verir. Bu prinsip enerji sərfini kəskin şəkildə azaltmağa və emal sürətini artırmağa imkan verir. Müəlliflərin sözlərinə görə, sistem adətən bu miqyaslı modellər üçün lazım olan məlumatların 2%-dən azı ilə öyrədilib və buna baxmayaraq, dilin qavranılması və məntiqi nəticə çıxarma testlərində müqayisə oluna biləcək nəticələr göstərib. Komanda modelin iki versiyasını sınaqdan keçirib - 7 və 76 milyard parametrli. Hər iki versiya nisbətən kiçik həcmdə - 150 milyard token məlumat üzərində öyrədilib. Texnologiyanın effektivliyi xüsusilə uzun ardıcıllıqların emalında nəzərə çarpır. Testlərdən birində kiçik model 4 milyon tokenlik göstərişə standart sistemdən 100 dəfədən çox sürətli cavab verib.

Başqa bir sınaqda isə SpikingBrain 1.0 ənənəvi transformator arxitekturası ilə müqayisədə 1 milyon tokenlik kontekstdən ilk tokeni generasiya edərkən 26.5 dəfə sürətlənmə nümayiş etdirib. Testlər davamlı məhsuldarlığı da göstərib: sistem bir neçə həftə ərzində Şanxay şirkəti MetaX Integrated Circuits tərəfindən hazırlanmış MetaX platformasının yüzlərlə mikrosxemindən ibarət quraşdırmada stabil şəkildə işləyib. Bu, SpikingBrain-in xarici texnologiyalardan asılı olmadan genişmiqyaslı tətbiq potensialını vurğulayır. Tədqiqatçılar hesab edirlər ki, yeni model xüsusilə nəhəng məlumat həcmlərinin emalına ehtiyac olan sahələrdə faydalıdır: hüquqi və tibbi sənədlərin analizi, fizika və bioinformatika üzrə təcrübələr, o cümlədən DNT sekvensləşdirilməsi. “Təcrübələr göstərir ki, böyük modellərin öyrədilməsi NVIDIA-dan fərqli alternativ platformalarda da effektiv ola bilər” - deyə tədqiqat qrupu qeyd edib.