Коалиция EvalEval сообщила о важном шаге в развитии культуры оценки искусственного интеллекта: Институт безопасности ИИ Великобритании (UK AI Security Institute, AISI) начал использовать инфраструктуру EvalEval для открытой публикации результатов тестирования моделей. Это сотрудничество призвано сделать оценку ИИ более воспроизводимой, проверяемой и прозрачной — а значит, более надёжной основой для исследователей, разработчиков и политиков.
Партнёрство не возникло на пустом месте. Оно выросло из совместного воркшопа, прошедшего рядом с конференцией NeurIPS 2025, а обратная связь от специалистов AISI помогла доработать схему Every Eval Ever (EEE). Теперь совместная работа переходит в практическую плоскость: общая инфраструктура начинает применяться к реальным данным.
Почему воспроизводимость оценок — это не формальность
С каждым месяцем ИИ-модели всё активнее внедряются в реальные продукты и сервисы, и результаты их тестирования становятся ключевым источником доказательств о том, на что способны эти системы. Однако на практике данные публикуются в самых разных форматах, на разных платформах и в разных изданиях — часто без достаточного объёма деталей, чтобы результат можно было повторить. А иногда повторный запуск оценки оказывается просто непозволительно дорогим.
Именно эту проблему и решает EvalEval. Её миссия — собрать разрозненную экосистему в единое целое с помощью общей схемы отчётности Every Eval Ever и открытой платформы Evaluation Cards. Обе разработки приводят результаты оценок и сопутствующий контекст к единой структуре, понятной и машинам, и людям.
Это направление естественно продолжает работу AISI над повышением эффективности и строгости оценочных исследований: инструмент OptStop помогает экономить вычислительные ресурсы, HiBayES добавляет статистическую строгость с помощью иерархического байесовского моделирования, а в области анализа транскриптов и выявления возможностей моделей институт продвигает единые стандарты. Вместе AISI и EvalEval выявляют пробелы в отчётности и строят общую инфраструктуру, чтобы эти пробелы закрыть.
Что именно открывает AISI
Прозрачность на уровне транскриптов важна не только для воспроизводимости. Она нужна для анализа и диагностики: только заглянув внутрь отдельного запуска, можно понять, почему модель повела себя именно так. В рамках нового этапа сотрудничества AISI публикует через Evaluation Cards методы и находки из своих открытых отчётов — там, где это уместно.
Релиз включает проверенные результаты, контекст и сведения о конфигурации по пяти бенчмаркам из основного эксперимента статьи:
- HealthBench — оценка в области медицины и здоровья;
- FrontierMath — задачи продвинутого уровня по математике;
- Humanity’s Last Exam — комплексный тест на широкие экспертные знания;
- SWE-Bench Pro — задачи по программной инженерии;
- Terminal-Bench 2.0 — работа в командной строке и терминальных средах.
Результаты охватывают шесть фронтирных моделей: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 и GPT-5.4. Кроме того, опубликованы данные двух связанных кибероценок — Cyber CTFs и The Last Ones, — где используется другой, частично пересекающийся набор моделей.
Как протокол и вычислительный бюджет меняют итоговые цифры
Все эти данные сопровождают научную работу AISI под названием How Inference Compute Shapes Frontier LLM Evaluation («Как вычислительные ресурсы на этапе вывода формируют оценку фронтирных языковых моделей»). Главный вывод исследования прост и одновременно тревожен: итоговый балл бенчмарка сильно зависит от того, сколько вычислений было потрачено на этапе вывода и как именно устроен протокол оценки.
Особенно наглядно это видно на примере Humanity’s Last Exam. Кривые результатов показывают накопленную долю решённых задач в зависимости от количества использованных токенов — при этом для каждой задачи учитывается самое раннее наблюдённое успешное решение. Когда модели после каждой попытки получали обратную связь о правильности ответа от оракула, они продолжали решать всё новые задачи по мере роста бюджета токенов. Иными словами, две публикации с одинаковым названием бенчмарка могут описывать принципиально разные условия эксперимента.
Именно поэтому открытые данные со всеми настройками так ценны. Исследователи и практики получают возможность детально изучить отдельное исследование и сопоставить его с другими результатами в экосистеме. Там, где отчёты других организаций не содержат нужных деталей, релизы вроде публикации AISI становятся проверенными точками отсчёта — они помогают понять, как выбор конфигурации мог повлиять на заявленную производительность. Примером служит Terminal-Bench 2.0: результаты AISI теперь можно сравнить с другими оценками тех же моделей, полученными при иных настройках.
Чем больше организаций переходят на схему Every Eval Ever, тем надёжнее становятся такие сравнения и тем шире возможности для метаисследований — анализа не отдельных моделей, а всей системы оценки в целом.
Инфраструктура: Every Eval Ever и Evaluation Cards
В основе проекта лежат два взаимодополняющих инструмента.
Every Eval Ever — это общая схема и репозиторий для результатов оценивания. Она задаёт единый язык описания того, что именно и как измерялось. Evaluation Cards — открытая платформа, которая объединяет метаданные бенчмарков, данные о конкретных запусках и информацию о моделях в интерпретируемые записи. Вместе они решают одну из самых коварных проблем современной оценки ИИ: помогают понять, когда два внешне одинаковых балла на самом деле получены в существенно разных условиях.
Кому и как участвовать
Коалиция EvalEval приглашает к сотрудничеству сразу несколько групп:
- Разработчикам моделей — публиковать проверенные результаты оценок;
- Разработчикам бенчмарков — описывать тесты и данные запусков через схему Every Eval Ever;
- Исследователям в области оценки, управления и политики — изучать Evaluation Cards по бенчмаркам и моделям или использовать платформу для анализа состояния отчётности в целом.
Кто стоит за инициативой
EvalEval Coalition — это исследовательское сообщество, которое разрабатывает научно обоснованные методы и надёжную инфраструктуру для всей экосистемы оценки ИИ. Среди его целей — развитие оценочной науки, преодоление разногласий в том, как документировать применимость и полезность оценок, а также более широкий охват эффектов, значимых для исследований и анализа политики.
UK AI Security Institute — исследовательская организация в составе британского Министерства науки, инноваций и технологий. Её задача — дать правительствам научное понимание рисков, связанных с передовыми ИИ-системами. Институт изучает возможности и влияние таких систем, разрабатывает и тестирует меры защиты, а также обеспечивает доказательную базу для политических решений.
Вывод
Сотрудничество UK AISI и EvalEval — это шаг от разрозненных отчётов к общей, проверяемой науке об оценке ИИ. Открытая публикация результатов по пяти ключевым бенчмаркам и двум кибероценкам, дополненная данными о конфигурациях и полными транскриптами, даёт исследователям то, чего им так часто не хватало: возможность перепроверить чужие выводы и корректно сравнить их со своими. Пока одни спорят о том, какая модель лучше, такие инициативы отвечают на более важный вопрос — можно ли вообще доверять цифрам, которые мы видим в отчётах.
