Self-attention mexanizmi 64 o'lchamli kalitlar bilan 1 milliondan ortiq ma'lumotni saqlay oladi

Neyron tarmoqlaridagi chiziqli qatlamlar, MLP va self-attention strukturalari assotsiativ xotira sifatida tahlil qilindi. Tadqiqotda turlicha qatlamlarning shovqin hamda xalaqitlarga chidamliligi va ularning umumiy xotira sig'imi taqqoslab chiqildi.

Tahlil natijalariga ko'ra, 64 o'lchamli kalitlar qo'llanilganda oddiy chiziqli qatlam 64 ta, MLP esa taxminan 2700 ta xotira juftligini saqlay oladi. Self-attention mexanizmi esa xalaqit nisbatini keskin kamaytirib, 1 milliondan ortiq ma'lumotni saqlash hamda eslash imkoniyatini beradi.

Oddiy AI texnologiyasi yordamida tarjima qilingan