Почему агентный каркас важнее модели: CUGA для корпоративного ИИ

Статья углубляется в критически важный аспект создания сложных AI-агентов: важность «оболочки агента» (agent harness). В быстро расширяющейся области AI-агентов разработчики сталкиваются с выбором из почти 200 различных фреймворков или «оболочек», предназначенных для обертывания вокруг основной Большой Языковой Модели (LLM). Центральный тезис заключается в том, что структура и правила, налагаемые этой внешней оболочкой — harness — могут оказать значительно большее влияние на уровень выполнения задач, чем сама базовая модель. Этот вывод имеет решающее значение для организаций, стремящихся вывести AI из экспериментальных прототипов в надежные корпоративные инструменты, критически важные для миссии.

Чтобы продемонстрировать эту точку, авторы провели тщательное сравнение, используя одну и ту же модель с открытым весом (GLM-5.3-flash) и подвергая ее 90 задачам в рамках бенчмарка AppWorld. Они протестировали три известные оболочки агентов: CUGA (ConfigUrable Generalist Agent) от IBM, Hermes от Nous Research и Deep Agents от LangChain. Результаты были поразительными: простое изменение оболочки, при сохранении постоянной модели, вызвало резкий скачок уровня выполнения задач, подняв его в некоторых случаях в среднем с 30% до 81%. Это подчеркивает идею о том, что операционная среда агента так же важна, как и его интеллект.

В то время как общедоступные ресурсы, такие как 'awesome-agent-harness', подтверждают, что оболочка имеет значение, статья подчеркивает, что выбор должен быть адаптирован к конкретной рабочей нагрузке. Hermes позиционируется как отличный выбор для личных помощников, работающих круглосуточно, в то время как Deep Agents превосходно справляется с длительными многоэтапными исследовательскими задачами. Однако авторы утверждают, что корпоративная работа — которая включает взаимодействие с конфиденциальными бизнес-системами, такими как CRM и платежные шлюзы — требует принципиально иного уровня контроля и соблюдения правил. Именно здесь CUGA выделяется.

CUGA специально разработан для этого корпоративного контекста. Это open-source оболочка, созданная для работы в собственных безопасных границах компании, включая суверенные облака и развертывания в режиме air-gap. Ее основная ценность заключается в способности обеспечивать соблюдение бизнес-правил на уровне выполнения (runtime level), независимо от того, что решит базовая LLM. Этот механизм принуждения является ключевым отличием, переводя правила из простого предложения в системный промпт в обязательные структурные политики в цикле выполнения агента. Авторы отмечают, что большинство команд ошибочно полагаются на системные промпты для обеспечения соблюдения правил (например, «Не платить более $10»). Однако модель может неверно истолковать эти инструкции, или злоумышленник может убедить агента отказаться от них. Политики CUGA решают эту проблему, выводя эти правила из промпта и в саму оболочку.

Во время тестирования AppWorld наиболее показательной метрикой был SGC (Scenarios where all three variants passed — Сценарии, где все три варианта прошли). Эта метрика вознаграждает за стабильность, гарантируя, что производительность агента надежна в течение нескольких попыток и при различных условиях, а не просто достигает удачного результата. Разрыв в производительности был наиболее заметен именно здесь: CUGA достигла 20 пройденных сценариев, что значительно выше, чем 8 у Hermes и 2 у Deep Agents. Этот разрыв в стабильности убедительно подтверждает утверждение о том, что специализированная структура оболочки имеет первостепенное значение для надежной автоматизации.

Технически каждый агент CUGA следует компактному, контролируемому циклу: подготовка, вызов модели, выполнение и повторение. Этот цикл высоко масштабируем, позволяя одному CugaAgent расшириться до CugaSupervisor, координирующего работу нескольких агентов, независимо от того, являются ли они локальными или удаленными. Политики в этом цикле действуют в четырех критических точках: Направление (Guidance), но что крайне важно, Утверждения (Approvals) и Защита Инструментов (ToolGuards) обеспечиваются средой выполнения (runtime environment). Это означает, что если задача требует утверждения платежа или обработки Личной Идентифицируемой Информации (PII), оболочка физически останавливает процесс и требует явного соблюдения политики, отменяя потенциально неверное решение модели. Статья приводит яркий пример: агент без политик заплатил $90, включая отклоненный иск, в то время как агент с политиками CUGA успешно задержал платеж для утверждения и заплатил только правильные $10.

Таким образом, в то время как модель обеспечивает интеллект, оболочка обеспечивает управление (governance). Для корпоративных приложений, где финансовая точность, суверенитет данных и строгое соблюдение корпоративной политики являются не подлежащими обсуждению, CUGA предлагает надежное решение. Она обеспечивает высокую производительность с использованием open-weight моделей, гарантируя при этом, что операционные правила обеспечиваются средой выполнения системы, что делает ее превосходным выбором для сложной многоприложенческой бизнес-автоматизации, требующей высокого уровня доверия и надежности. Способность обеспечивать соблюдение бизнес-правил на уровне выполнения, независимо от вывода модели, является самой важной функцией для корпоративных AI-агентов. Бенчмарк AppWorld продемонстрировал, что стабильность оболочки (SGC) является гораздо лучшим показателем надежности, чем чистый процент выполнения задач. Для организаций, работающих с конфиденциальными данными и финансовыми транзакциями, структурный контроль, предлагаемый CUGA, необходим для снижения рисков, присущих универсальным LLM.