В мире искусственного интеллекта, где гонка за гигантскими параметрами, казалось бы, стала нормой, иногда случаются события, заставляющие инженеров и разработчиков недоуменно поднимать брови. Именно такое чудо произошло на днях: компактная 27-миллиардная модель под названием Saluki, которую эксперты уже окрестили «андердогом», сумела обойти своего более именитого и тяжеловесного конкурента — Qwen3.8 — в одной из самых сложных дисциплин современного ИИ. Речь идет о вызове инструментов, или tool calling, — способности модели не просто болтать, а взаимодействовать с внешним миром через API и функции.
Но самое удивительное даже не в победе малоизвестной модели. Сенсация кроется в деталях: Saluki работает с экстремальным 2-битным сжатием весов. Как можно обогнать оригинал, потеряв почти всю точность числовых представлений? Ответ на этот вопрос кроется в архитектурных хитростях, методах дистилляции и неожиданном подходе к обучению, который переворачивает привычные представления о том, что «больше значит лучше».
Что такое Saluki и почему он «андердог»?
Saluki — это относительно новая языковая модель с 27 миллиардами параметров. На фоне монстров вроде Llama 3 405B или Qwen с сотнями миллиардов весов она выглядит скромно. Именно поэтому сообщество нарекло ее «андердогом» — спортсменом, от которого никто не ждет рекордов. Однако за неприметным именем скрывается тщательно выверенная архитектура, ориентированная в первую очередь на прикладные задачи, а не на победы в абстрактных бенчмарках на общие знания.
Qwen3.8, в свою очередь, считается одним из лидеров в области агентных сценариев. Это модель, которая изначально проектировалась для использования в качестве «мозга» автономных агентов, умеющих планировать, вызывать функции и корректировать свои действия. Победа над таким соперником в его же вотчине — это не просто статистическая флуктуация, а сигнал о смене парадигмы.
Магия 2-битного сжатия: как это работает?
Обычно, когда мы слышим о квантовании до 2 бит, воображение рисует картину деградации: модель начинает путать слова, терять логику и выдавать бессвязный текст. Действительно, для стандартных трансформеров такое сжатие фатально. Однако Saluki использует комбинацию передовых техник, которые позволяют сохранить критически важные для рассуждений и вызова инструментов цепочки.
Квантование с учетом активаций и групповое масштабирование
Секрет кроется в так называемом activation-aware quantization. Вместо того чтобы слепо округлять все веса, алгоритм анализирует, какие нейроны и слои наиболее активны при решении задач на вызов инструментов. Эти зоны получают более высокую точность (условно, 4 или 8 бит), в то время как «молчаливые» участки сжимаются до 2 бит. Дополнительно применяется групповое масштабирование: веса разбиваются на мелкие группы, для каждой из которых вычисляется свой коэффициент масштаба, что снижает накопление ошибок.
Дистилляция знаний от «учителя», заточенного под агентов
Второй ключевой фактор — это дистилляция. Saluki обучался не на сырых текстах, а на выходах более крупной и мощной модели, которая уже умела идеально вызывать инструменты. Фактически, «андердог» впитал в себя поведенческие паттерны эксперта, но в сжатом виде. Это позволило сохранить точность синтаксиса JSON, правильный выбор функций и понимание контекста, несмотря на низкую битность.
Почему вызов инструментов — это лакмусовая бумажка для ИИ?
Tool calling — это не просто генерация текста. Это задача, требующая железной логики и абсолютной точности. Если модель ошибется в названии функции или перепутает тип аргумента, весь агентный пайплайн рухнет. Ошибки здесь не прощаются, как в художественном рассказе. Поэтому победа Saluki так значима: она доказывает, что даже сильно сжатая модель способна действовать как надежный исполнитель, а не просто как генератор красивых фраз.
- Точность формата: Saluki генерирует валидный JSON в 98% случаев против 96% у Qwen3.8 в тестах на сложные многошаговые вызовы.
- Следование инструкциям: Модель лучше удерживает ограничения по обязательным параметрам, не «галлюцинирует» несуществующие поля.
- Скорость реакции: Благодаря 2-битному сжатию инференс происходит значительно быстрее, что критично для реального времени.
Технические детали: что именно тестировали?
Сравнение проводилось на наборе задач, имитирующих работу агента в реальной среде: бронирование встреч, вызов погодных API, управление умным домом и извлечение структурированных данных из хаотичных запросов. Saluki не просто догонял Qwen3.8 — он стабильно показывал лучший результат в сценариях, где требовалось удержать длинную цепочку зависимых вызовов.
Интересно, что при этом Saluki занимает в 8 раз меньше видеопамяти и может запускаться на потребительских GPU, тогда как Qwen3.8 требует серьезных серверных мощностей. Это открывает дорогу для создания локальных агентов, которые не зависят от облачных API.
Парадокс «меньше значит больше» в Agentic AI
Долгое время считалось, что для сложных агентных задач нужны модели с максимальным количеством параметров. Saluki развенчивает этот миф. Оказывается, если правильно подготовить данные и применить агрессивное, но умное сжатие, маленькая модель может превзойти большую в узкой, но критически важной области. Это как гоночный болид против грузовика: грузовик мощнее, но на треке выигрывает тот, кто легче и лучше управляется.
Кроме того, 2-битное сжатие снижает задержки и энергопотребление, что для агентных систем, работающих 24/7, важнее сырой мощности. Разработчики получают возможность развернуть десятки таких агентов на одном сервере, не жертвуя качеством выполнения команд.
Что это значит для будущего AI Shorts и разработчиков?
Для сообщества For Devs и Software Engineering это сигнал: пора пересмотреть подход к выбору моделей. Не всегда нужно гнаться за флагманами. Иногда «андердог» с правильной оптимизацией дает больше свободы и эффективности. Появление Saluki может подстегнуть рост количества легковесных, но узкоспециализированных агентов, встраиваемых прямо в IDE, мобильные приложения и IoT-устройства.
Кроме того, успех 2-битного квантования вдохновит исследователей на дальнейшие эксперименты с экстремальным сжатием. Возможно, скоро мы увидим модели, которые вообще не требуют GPU, а работают на NPU смартфонов, выполняя при этом сложные агентные сценарии.
Вывод
Saluki с его 27 миллиардами параметров и 2-битным сжатием доказал, что в мире Agentic AI интеллект не измеряется количеством весов. Умная дистилляция, активационно-зависимое квантование и фокус на конкретной задаче позволили «андердогу» обойти Qwen3.8 там, где это казалось невозможным. Это не просто новость о бенчмарке — это напоминание о том, что инженерная смекалка часто побеждает грубую силу. Будущее за эффективностью, и Saluki уже прокладывает к нему дорогу.
