Hong Kong Ilmiy va Texnologiya universiteti jamoasi matnni SQL ga aylantiruvchi HarnessSQL agentini ishlab chiqdilar. U ochiq DeepSeek Harness agent freymvorki asosida oʻrgatilgan. Tadqiqotchilar bu agent kichik modellarining korporativ darajadagi maʼlumotlar bazalari benchmarklarida ancha katta modellar ustun kelishiga imkon berishini bildirishdi. Ish oktyabr oyida arXivda nashr etildi, 2 noyabrda esa Xinzhiyuan tomonidan HKUST va Microsoft tadqiqotchilari hamkorligi deb eʼlon qilindi.
DSH-SQL deb nomlangan asosiy komponent DeepSeek Harness ni toʻliq maʼlumotlar bazasi agentiga moslashtiradi. U toʻrtta vositaga ega: jadvallarni koʻrish, sxemalarni oʻqish, soʻrovlarni bajarish va yakuniy javobni taqdim etish. Jamoa Spider 2.0-Lite va Spider 2.0-DBT dan 79 ta izolyatsiya qilingan maʼlumotlar bazasini tayyorladi, DuckDB loyihalarini SQLite ga konvert qildi va ularni 60 soniyalik vaqt cheklovi bilan faqat oʻqish rejimida ishga tushirdi.
Oʻquv jarayoni agentning toʻliq yoʻllari boʻyicha nazoratli fin-tuning bilan boshlandi, bunda 11 800 token, 16 qadam va 14 soʻrov bajarilishi oʻrtacha olindi, shu bilan birga vositalar kuzatuvlari yoʻqotish hisobiga kiritilmadi. Keyin DAPO yordamida kuchaytirilgan oʻquv amalga oshirildi.
Spider 2.0-SQLite benchmarkida Qwen3-8B asosidagi 8B modellari samaradorlikni 15.5% dan 45.2% gacha oshirdi, shu bilan birga 14B versiyasi 54.8% ga yetdi. 32B kabi asosiy modellar, jumladan OmniSQL-32B, Arctic-Text2SQL-32B va Qwen2.5-Coder-32B, 14.8% dan 16.3% gacha natijalar koʻrsatdi. LiveSQLBenchda 8B va 14B modellar mos ravishda 24.8% va 28.5% olib, 7.0% – 8.9% natija koʻrsatgan 32B asosiy modellar ustun keldi.
Turli omillarning taʼsirini tahlil qilish samaradorlik oshishining qayerdan kelib chiqishini koʻrsatdi. Kuchaytirilgan oʻquvni qoʻllash bevosita faqat 20.0% berdi, ammo faqat nazoratli sozlash bosqichi 8B uchun 30.4% va 14B uchun 37.8% taʼminladi. Harness ishlatilmagan yoʻllar boʻyicha fin-tuning atigi 9.6% keltirdi. Kontekst uzunligi ham muhim rol oʻynadi: 8B modeli 8K oynasida 27.4% va 32K oynasida 45.2% koʻrsatdi. Kuchaytirilgan oʻquv algoritmlari orasida GRPO 40.7%, GSPO — 43.7%, va DAPO — 45.2% ga erishdi.
Mualliflar shuni taʼkidlaydiki, koʻp bosqichli real maʼlumotlar bazalari ustida fikrlashni amalga oshirish kaliti faqat modelning kattaligi emas, balki yaxshi loyihalashtirilgan agentlik harnessidir. Loyiha kodi GitHubda mavjud. Ushbu ish DeepSeek Harness ochiq manba sifatida chiqarilgandan keyin yaratilgan keng tadqiqotlar va vositalar toʻplamini boyitadi.
