Лаборатория искусственного интеллекта при Университете Цинхуа (Tsinghua University) сделала заметный шаг в развитии инфраструктуры для агентных систем. Команда исследователей открыла исходный код проекта AKV — сервера кэш-инжиниринга, разработанного специально для LLM-агентов и работающего на базе фреймворка SGLang. Релиз привлёк внимание сообщества разработчиков, поскольку затрагивает одну из самых болезненных проблем современных агентных архитектур — эффективное управление контекстом и стоимость повторных вычислений.
Что такое AKV и почему это важно
AKV расшифровывается как Agent KV-cache — то есть сервер, который управляет KV-кэшем (кэшем ключей и значений) для больших языковых моделей, обслуживающих сразу множество агентов. В основе идеи лежит простая, но мощная мысль: агенты, работающие в одной среде, часто переиспользуют одни и те же фрагменты контекста — системные промпты, описания инструментов, историю диалога, результаты вызовов функций. Если каждый такой фрагмент заново прогонять через модель, это оборачивается колоссальными затратами GPU-времени и денег.
KV-кэш — это механизм, позволяющий трансформерным моделям не пересчитывать внимание для уже обработанных токенов. Однако стандартные решения вроде vLLM или самого SGLang ориентированы на одиночные запросы или простые батчи, а не на долгоживущих агентов с пересекающимся контекстом. AKV закрывает именно эту нишу: он превращает KV-кэш в разделяемый, персистентный и управляемый ресурс, доступный сразу нескольким агентам.
Как устроен сервер кэш-инжиниринга
Архитектурно AKV строится вокруг нескольких ключевых идей, которые делают его полезным именно для агентных сценариев:
- Разделяемый кэш между агентами. Сервер хранит KV-состояния в общем пуле и позволяет разным агентам подключаться к уже посчитанным фрагментам контекста, не дублируя вычисления.
- Персистентность. Кэш переживает завершение отдельного запроса или сессии, что критично для агентов, работающих часами и днями.
- Интеграция с SGLang. AKV не изобретает собственный инференс-движок, а опирается на зрелый и быстрый SGLang с его RadixAttention — механизмом префиксного кэширования.
- Управление жизненным циклом. Сервер умеет решать, что хранить, что вытеснять и как распределять ограниченную память GPU между конкурирующими агентами.
Именно комбинация этих свойств превращает AKV из очередной оптимизации в полноценный строительный блок для Agentic AI. Агенты перестают быть изолированными «чёрными ящиками» и становятся клиентами общего инфраструктурного слоя.
Почему релиз важен для индустрии AI Agents
Последние два года рынок AI Agents растёт стремительно: автономные ассистенты, инструменты для разработки, оркестраторы задач и мультиагентные системы появляются почти каждую неделю. Но за красивыми демо скрывается прозаическая проблема — экономика. Каждый вызов инструмента, каждое уточнение и каждый шаг рассуждения означает новый проход через модель. Без грамотного кэширования счёт за GPU растёт лавинообразно.
Появление открытого AKV снижает порог входа для команд, которые строят агентные продукты, но не могут позволить себе содержать собственную команду инфраструктурных инженеров. Проект даёт им готовый серверный компонент, который можно развернуть рядом с SGLang и получить разделяемый кэш «из коробки». Это особенно ценно для стартапов и исследовательских групп.
Открытый исходный код как стратегия
Решение опубликовать код под открытой лицензией — не просто жест доброй воли. Лаборатории Цинхуа конкурируют за влияние в экосистеме, и ставка на открытость позволяет быстрее набирать сообщество, собирать обратную связь и становиться де-факто стандартом. Тот, кто первым предложит удобный и производительный слой кэширования для агентов, получит серьёзное преимущество в формировании практик разработки.
Что скрывается за релизом: технические детали и подтекст
Если присмотреться, релиз AKV вписывается в более широкий тренд — инфраструктуризацию агентного ИИ. Вслед за этапом «сделаем агента, который умеет вызывать функции» индустрия входит в этап «сделаем так, чтобы тысячи агентов работали дёшево и стабильно». Появляются брокеры памяти, маршрутизаторы запросов, системы наблюдаемости — и кэш-серверы занимают в этом ряду одно из центральных мест.
Кроме того, AKV демонстрирует зрелость SGLang как платформы. Ещё недавно SGLang воспринимался как быстрый, но нишевый движок для исследователей. Теперь на его базе строят прикладные сервисы, и это сигнал: экосистема вокруг SGLang формируется, а значит, разработчикам стоит присмотреться к нему всерьёз.
Потенциальные сценарии применения
- Мультиагентные системы. Несколько агентов с общими инструкциями и инструментами делят один кэш, экономя память и вычисления.
- Долгоживущие ассистенты. Персональные агенты, которые помнят контекст пользователя между сессиями без повторной обработки всей истории.
- Пайплайны обработки данных. Агенты, обрабатывающие однотипные документы, переиспользуют общий префикс промпта.
- Исследования и бенчмарки. Удобная площадка для экспериментов с политиками вытеснения кэша и распределением ресурсов.
Ограничения и что стоит учитывать
Как и любой молодой проект, AKV не лишён вопросов. Открытый код — это только начало: предстоит проверить, насколько сервер устойчив под высокой нагрузкой, как он ведёт себя при отказе узлов и насколько просто интегрируется с существующими оркестраторами агентов. Кроме того, разделяемый кэш порождает вопросы безопасности и изоляции: агенты разных пользователей не должны случайно «видеть» чужие контексты. Эти темы наверняка станут предметом активных обсуждений в сообществе.
Ещё один нюанс — привязка к SGLang. Для команд, уже использующих этот движок, релиз станет приятным бонусом, а вот тем, кто строит на других стеках, придётся либо мигрировать, либо ждать портов и адаптеров.
Вывод
Открытие исходного кода AKV — это больше, чем очередной релиз. Лаборатория Цинхуа фактически предлагает индустрии готовый строительный блок для экономически устойчивых агентных систем: сервер кэш-инжиниринга на SGLang, который делает KV-кэш разделяемым, персистентным и управляемым. На фоне взрывного роста Agentic AI такой инфраструктурный слой может оказаться не менее важным, чем сами модели. Разработчикам стоит взять проект на заметку — как минимум чтобы понять, в какую сторону движется инфраструктура для AI-агентов.
