Neuralwatt: AI karkaslaridagi kesh uzilishi energiya sarfini 2,5 baravargacha oshiradi

Neuralwatt tadqiqotiga ko'ra, sun'iy intellekt agentlari karkaslarining ishlash usuli GPU energiya samaradorligiga bevosita ta'sir ko'rsatadi. So'rov matnidagi kichik o'zgarishlar keshning buzilishiga va butun matnni qayta hisoblashga olib keladi.

Bunday kesh uzilishlari so'rov energiyasini o'rtacha 2 baravarga, GLM-5.3 modelida esa 2,5 baravargacha oshirishi aniqlandi. Ayniqsa 128 ming tokendan oshadigan uzun muloqotlarda prefikslarni qayta o'qish xarajatlari keskin ko'payib ketadi.

Oddiy AI texnologiyasi yordamida tarjima qilingan