Команда из Гонконгского университета науки и технологий разработала HarnessSQL — агента для преобразования текста в SQL, который обучен на основе открытого фреймворка агента DeepSeek Harness. Исследователи сообщили, что этот агент позволяет небольшим моделям превосходить гораздо более крупные модели при тестировании на бенчмарках баз данных корпоративного уровня. Работа была опубликована на arXiv в октябре, а 2 ноября ее осветил Xinzhiyuan, назвав это сотрудничеством исследователей HKUST и Microsoft.
Основной компонент, получивший название DSH-SQL, адаптирует DeepSeek Harness в полноценного агента базы данных, оснащенного четырьмя инструментами: просмотр таблиц, чтение схем, выполнение запросов и предоставление окончательного ответа. Команда подготовила 79 изолированных баз данных из Spider 2.0-Lite и Spider 2.0-DBT, конвертировав проекты DuckDB в SQLite, и запускала их в режиме только для чтения с ограничением времени в 60 секунд.
Процесс обучения начался с контролируемой тонкой настройки на полных траекториях агента, усредненных по 11 800 токенов, 16 ходам и 14 выполнению запросов, при этом наблюдения инструментов исключались из расчета потерь. Затем последовало обучение с подкреплением с использованием DAPO.
На бенчмарке Spider 2.0-SQLite модель размером 8B, основанная на Qwen3-8B, продемонстрировала рост производительности с 15.5% до 45.2%, в то время как версия 14B достигла 54.8%. Базовые модели с 32B, включая OmniSQL-32B, Arctic-Text2SQL-32B и Qwen2.5-Coder-32B, показали результаты в диапазоне от 14.8% до 16.3%. На LiveSQLBench модели 8B и 14B набрали 24.8% и 28.5% соответственно, опередив базовые модели 32B, которые показали 7.0% – 8.9%.
Анализ влияния различных факторов показал, откуда берутся приросты производительности. Применение обучения с подкреплением напрямую дало лишь 20.0%, тогда как только стадия контролируемой настройки обеспечила 30.4% для 8B и 37.8% для 14B. Тонкая настройка на траекториях, собранных без использования harness, принесла всего 9.6%. Важную роль сыграла и длина контекста: модель 8B показала 27.4% при окне в 8K и 45.2% при окне в 32K. Среди алгоритмов обучения с подкреплением GRPO достиг 40.7%, GSPO — 43.7%, а DAPO — 45.2%.
Авторы утверждают, что именно хорошо спроектированный агентский harness, а не только масштаб самой модели, является ключом к реализации многошагового рассуждения над реальными базами данных. Код проекта доступен на GitHub. Эта разработка дополняет растущий набор исследований и инструментов, созданных на базе DeepSeek Harness после его выпуска с открытым исходным кодом.
