Лаборатория Fastino Labs представила GLiNER2.5-Decide — открытую модель на 340 миллионов параметров, которая берёт на себя одну из самых частых и неприятных задач в современных ИИ-системах: принятие локальных решений внутри агентных конвейеров. Модель не пытается писать тексты и не претендует на роль универсального чат-бота. Её работа — получать фрагмент текста и схему вопросов, а возвращать строго структурированные ответы. И всё это работает на обычном центральном процессоре, без видеокарты.
Новость важна не столько сама по себе, сколько в контексте. Пока индустрия спорит о моделях на сотни миллиардов параметров, всё больше команд приходит к выводу: 90% решений в реальном продукте — это не творчество, а рутина. Куда отправить запрос? Нужен ли инструмент? Не нарушает ли ответ политику безопасности? Именно такие «мелкие суждения» и стали целью новой модели.
Что именно выпустила Fastino Labs
GLiNER2.5-Decide — наследник семейства GLiNER, которое изначально прославилось как компактный открытый подход к извлечению именованных сущностей без обучения под каждую задачу. Новинка развивает ту же философию, но смещает фокус с извлечения информации на принятие решений.
Ключевые характеристики модели:
- 340M параметров — размер, который спокойно помещается в память обычного сервера и вполне подходит для локального запуска;
- открытые веса — модель можно скачать, развернуть у себя и изучить без обращения к внешним API;
- работа на CPU — не требуется GPU-ускоритель, что радикально снижает стоимость эксплуатации;
- структурированный вывод — на входе текст и схема вопросов, на выходе готовые ответы в заданном формате.
По сути, Fastino предлагает не «ещё одну LLM», а специализированный компонент инфраструктуры. Его место — между сырыми данными и большой моделью, которая занимается генерацией.
Как устроена логика ответа
Главная особенность GLiNER2.5-Decide — не сам факт структурированного вывода, а то, чем он сопровождается. Разработчики сделали ставку на прозрачность решений, а не на «магический» одиночный ответ.
Три слоя информации в каждом ответе
- Распределение вероятностей. Модель не просто выбирает вариант, а показывает, как она распределила уверенность между возможными исходами. Если решение близко к равновесию, это сразу видно.
- Оценка уверенности. Отдельный показатель, который позволяет системе решить: действовать автоматически или передать вопрос человеку либо более мощной модели.
- Метаданные о выполнимости ограничений. Модель сообщает, совместим ли выбранный ответ с заданными правилами и рамками — например, с политиками доступа, лимитами или бизнес-логикой.
Именно третий пункт делает модель интересной для продакшена. Классические классификаторы выдают метку и число, а здесь появляется сигнал о том, не противоречит ли результат тем ограничениям, которые команда задала заранее.
Где это пригодится: четыре точки принятия решений
Разработчики прямо перечисляют сценарии, под которые оптимизирована модель. Все они — типичные «узкие места» агентных систем, где большая языковая модель работает медленно, дорого и не всегда предсказуемо.
- Маршрутизация. Определить, к какому агенту, базе знаний или очереди обработки отнести запрос пользователя.
- Триаж. Оценить срочность, категорию и приоритет обращения до того, как им займётся человек или тяжёлая модель.
- Выбор инструмента. Решить, какой из доступных API, плагинов или функций стоит вызвать следующим шагом.
- Guardrails. Проверить, безопасен ли ответ или запрос, не нарушает ли он политики продукта.
Во всех этих задачах важна не красноречивость, а стабильность. Агентному конвейеру нужно, чтобы решение принималось за миллисекунды, стоило копейки и повторялось одинаково при одинаковом входе. Компактная модель здесь выигрывает у крупной по всем трём параметрам.
Почему запуск на CPU — это не мелочь
Требование к GPU долгое время было негласным налогом на любую ИИ-разработку. Оно определяло и бюджет, и архитектуру, и даже выбор облачного провайдера. Модель, которой достаточно процессора, меняет расклад сразу в нескольких измерениях.
Во-первых, снижается стоимость инференса: масштабировать решение можно обычными инстансами, а не дорогими ускорителями. Во-вторых, появляется возможность запускать всё локально — данные не покидают периметр компании, что критично для медицины, финансов и госсектора. В-третьих, открывается путь на периферийные устройства: ноутбуки, промышленные шлюзы, встраиваемые системы, где GPU просто нет.
Наконец, предсказуемая задержка. Когда решение принимается на том же сервере, что и остальная логика приложения, исчезает сетевой прыжок до внешнего API — а вместе с ним и целый класс сбоев.
Контекст: ставка на маленькие специализированные модели
Релиз вписывается в общий тренд, который в 2024–2025 годах оформился окончательно. Вместо одной гигантской модели, нагруженной всеми задачами сразу, инженеры собирают систему из компонентов: большая модель для рассуждений и генерации, компактные — для классификации, маршрутизации, проверок и извлечения данных.
Такой подход напрямую связан с идеей context engineering: важно не просто подать модели больше текста, а правильно организовать поток информации и решений. Чем точнее маленькие модели отсекают лишнее на ранних этапах, тем меньше токенов сжигает дорогая модель на выходе.
Отдельный плюс — открытые веса. Они позволяют командам дообучать модель на собственных сценариях, замерять качество на своих данных и не зависеть от политики вендора. Для задач вроде проверки guardrails это особенно чувствительная тема: логика безопасности должна быть прозрачной.
На что стоит обратить внимание
Как и любой релиз, GLiNER2.5-Decide — не серебряная пуля. Стоит помнить о нескольких ограничениях:
- 340M параметров не заменят полноценную языковую модель в задачах сложного рассуждения;
- качество ответов сильно зависит от того, насколько хорошо составлена схема вопросов;
- вероятности и оценки уверенности всё равно требуют калибровки под конкретный домен;
- в чувствительных сценариях нужен человеческий контроль или дополнительная валидация.
Тем не менее для класса задач «принять быстрое решение по тексту и обосновать его числом» подобные модели выглядят куда практичнее, чем попытки выжать структурированный JSON из большой генеративной модели через промпт.
Краткий вывод
Fastino Labs выпустила компактную открытую модель, которая закрывает одну из самых массовых потребностей агентной эры — принятие локальных решений. GLiNER2.5-Decide на 340 миллионов параметров принимает текст и схему вопросов, а возвращает структурированные ответы с распределением вероятностей, оценкой уверенности и метаданными о совместимости с ограничениями. Она рассчитана на маршрутизацию, триаж, выбор инструментов и guardrails, а главное — работает на CPU, без GPU.
Это не громкая сенсация, а скорее грамотный инженерный шаг в сторону модульной, экономичной и предсказуемой ИИ-инфраструктуры. И именно из таких шагов сегодня складывается облик практичного искусственного интеллекта, который не демонстрирует чудеса, а просто надёжно делает свою работу.
