Исследовательское подразделение Perplexity представило новый взгляд на посттренировку языковых моделей для агентных систем. В центре внимания — AI-агент Perplexity Computer, который учится не только на удачных примерах, но и на реальных пользовательских сессиях, включая те, где система допускала ошибки. Такой подход позволяет агенту постепенно повышать надёжность выполнения задач в реальном мире, а не в идеализированных лабораторных условиях.
Обучение на реальных ошибках, а не на синтетике
Традиционно модели дообучают на тщательно отобранных данных, где преобладают успешные сценарии. Однако Perplexity Research пошла другим путём: в обучение были включены настоящие диалоги и действия агента, в том числе неудачные попытки. Ключевая идея — использовать ошибки как ценный сигнал, который помогает модели понять, где именно она ошибается и как этого избежать в будущем.
Исследование относится к области посттренировки (post-training). На этом этапе большая языковая модель адаптируется под конкретные задачи после базового предобучения. Для агентных систем, которые должны вызывать инструменты, планировать шаги и взаимодействовать с внешними сервисами, качество посттренировки критически важно.
Метод: rejection sampling fine-tuning и hint-guided self-distillation
В основе работы лежит комбинация двух техник. Первая — rejection sampling fine-tuning (тонкая настройка с отбраковкой неудачных вариантов). Она позволяет отбирать наиболее качественные траектории решений из множества сгенерированных, отсеивая те, что привели к ошибке. Вторая — hint-guided self-distillation (самодистилляция с подсказками). Здесь модель выступает и учителем, и учеником: она анализирует собственные ошибки с дополнительными подсказками и постепенно переносит скорректированное поведение в свою политику.
Сочетание этих подходов даёт агенту возможность учиться на собственных промахах без постоянного вмешательства человека. Подсказки помогают модели не просто запомнить правильный ответ, а понять логику исправления. Это особенно ценно для сценариев, где агент должен работать с инструментами и API, поскольку любая неточность в вызове может привести к сбою всей цепочки действий.
Результаты A/B-теста: сбои вызовов инструментов снизились
Чтобы оценить эффект, команда провела живой A/B-тест между двумя обученными чекпоинтами. Метрика была выбрана практичная — доля неудачных вызовов инструментов (tool-call failures). В первом чекпоинте этот показатель составлял 2,24%, а во втором, после применения нового метода, он опустился до 1,77%.
В относительном выражении это снижение составляет 21,2%. Perplexity Research сообщает, что результат является статистически значимым. Иными словами, улучшение вряд ли объясняется случайными колебаниями — оно связано именно с предложенным подходом к посттренировке.
Для агентных систем даже доли процента имеют значение. Каждый неудачный вызов инструмента может означать сорванную задачу, неверный ответ или необходимость повторной попытки. Снижение частоты таких сбоев напрямую повышает доверие пользователей и расширяет спектр задач, которые можно делегировать AI-агенту.
Почему это важно для рынка AI-агентов
Последний год развитие искусственного интеллекта всё чаще связывают с agentic AI — системами, которые не просто отвечают на вопросы, а самостоятельно выполняют многошаговые действия. Large Language Models становятся ядром таких агентов, но их надёжность остаётся главным вызовом. Ошибки в вызовах функций, неправильная интерпретация промежуточных результатов и потеря контекста — типичные проблемы.
Подход Perplexity показывает, что посттренировка на реальных пользовательских сессиях может заметно улучшить поведение агента. Вместо того чтобы полагаться только на синтетические данные, исследователи используют «живой» опыт эксплуатации. Это перекликается с общей тенденцией в индустрии: модели всё чаще дообучают на обратной связи и реальных взаимодействиях, а не только на статических наборах данных.
Что дальше
Пока речь идёт об исследовании и тесте между двумя чекпоинтами. Однако результаты выглядят обнадёживающе для всей линейки продуктов Perplexity, включая Computer. Если метод масштабируется, он может стать стандартной частью пайплайна посттренировки для агентных моделей.
Вопросы остаются: как быстро модель будет адаптироваться к новым типам ошибок, насколько метод устойчив к редким сбоям и как он поведёт себя в более сложных многоагентных сценариях. Но уже сейчас ясно, что ставка на обучение на реальных ошибках с подсказками и самодистилляцией — это шаг в сторону более надёжных и практичных AI-агентов.
Заключение
Perplexity Research предложила метод, который превращает неудачные сессии в источник роста для AI-агента. Комбинация rejection sampling fine-tuning и hint-guided self-distillation позволила снизить долю сбоев вызовов инструментов с 2,24% до 1,77% в A/B-тесте — это статистически значимое улучшение на 21,2%. Для agentic AI и больших языковых моделей такой подход может стать важным шагом к повышению надёжности и расширению автономности.
