ByteDance Seeddagi tadqiqotchilar til modellarida kalit-qiymatlar keshini (KV-kesh) fiksli bloklar yordamida siqishdan foydalanadigan chastolik zaif nuqtani aniqlagan ilmiy ishni eʼlon qilishdi. Bunday yondashuv, masalan, uzoq kontekstlar bilan ishlashda xotira va diqqat sarfini kamaytirish uchun DeepSeek-V4 modelida qoʻllaniladi.
arXivʼda 28-sentabr kuni joylashtirilgan «Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression» nomli maqolada jamoa bir xil maʼlumotning bir pozitsiyada osongina ajratib olishi mumkin, ammo boshqa bir pozitsiyada qiyinroq ekanligini bildirdi. Bu kamchilik standart baholash metrikalaridan foydalanganda sezilmay qolishi mumkin.
Bloklash orqali siqish usuli ketma-ket tokenlarni oynalarga guruhlaydi va har bir oynani fiksli qadam bilan kichikroq miqdordagi kesh yozuvlariga siqadi. Bu har bir tokenga yangi koordinata beradi, bu mualliflar uni uning fazasi deb ataydilar — yaʼni oynaning chegaralariga nisbatan uning joylashuvi. Kirish maʼlumotlarini bir necha tokenlar bilan hatto ozgina siljitish ham ularning haqiqiy mazmunini oʻzgartirmasdan, birga siqiladigan tokenlar guruhini oʻzgartirishi mumkin.
Jamoa DeepSeek-V4-Flash va DeepSeek-V4-Pro ning asosiy va qayta oʻqitilgan versiyalari, shuningdek, qayta oʻqitilgan DeepSeek-V4.1-Flash ni sinovdan oʻtkazdi. Sinov 128 ming token hajmidagi «don olib topish» vazifasida oʻtkazildi, bunda soʻrov uzunligi va mutlaq pozitsiyasi doimiy saqlab qolindi. Asosiy nazorat nuqtalaridagi aniqlik maqsadli elementning fazasiga qarab 40,2 foizgacha farq qilgan. Garchi qayta oʻqitish aniqlikni oshirgan va farqlarni toraytirgan boʻlsa-da, ular V4 modellari uchun sezilarli boʻlib qoldi.
Toʻrt emas, ikki qadamdan foydalanadigan DeepSeek-V4.1-Flash eng kam farqni namoyish etdi, garchi periodik naqsh saqlanib qolsa ham. Sababini aniqlash uchun tadqiqotchilar Qwen3-0.6B backboni asosida kichik transformatorlar oilasini nol dan oldindan oʻqitishdi, faqat KV siqish dizaynini oʻzgartirdilar. Har bir siqilgan variatsiya oʻz qadamiga mos keladigan periodiklikni koʻrsatdi, shu jumladan, har bir oynadagi tokenlarni oddiy ravishda oʻrtacha qiymatini hisoblaydigan variant, chunki toʻliq asosiy diqqat modellarida bunday kuzatilmagan.
Diqqat boshlariga kiritilgan aralashuvlar mualliflar tomonidan fazaviy ixtisoslashuv deb nomlangan, chunki turli komponentlar maʼlumotni turli fazalarda qayta ishlaydi. Ular taʼkidlashicha, bu mexanistik xulosalar nazorat qilinadigan sharoitlarda eng kuchli boʻladi va katta modellar uchun universal sababni belgilamaydi.
Bu ishning amaliy ahamiyati biron bir modeldan koʻra koʻproq baholash usullari bilan bogʻliq. Maqalada KV bloklashni ishlatadigan modellar fazalar hisobga olingan holda baholanishi kerakligi taʼkidlanadi. Masalan, talab qilinayotgan maʼlumot oʻzgarmagan holda kirish maʼlumotlarini bir necha tokenlar bilan siljitish orqali buni amalga oshirish mumkin, chunki yuqori oʻrtacha aniqlik tizimli pozitsion xatoliklar bilan birga mavjud boʻlishi mumkin.
Olti nafar muallif ByteDance Seedni afiliatsiya sifatida koʻrsatdi. Uchtasi esa Princeton universiteti, Stanford universiteti yoki Kaliforniya universiteti, Berkli tomonidan koʻrsatilgan va maqolada asosiy ishtirokchilar ByteDance Seeddagi stajyorlik davrida bu ishni bajarganligi aytiladi. Tegishli mualliflar Yiyuan Ma va Xin Dongdir.