Новый бенчмарк тестирует AI-агентов на создании сложного программного обеспечения
Replit выпустила ViBench 2.0 — строгий новый бенчмарк, разработанный для проверки способности AI-агентов создавать сложные, реальные программные продукты с нуля. В отличие от простых проверок отдельных функций, этот бенчмарк требует от агентов создания целых приложений, таких как те, что моделируют Uber или GitHub, поэтапно, без знания требований к конечному продукту.
Хотя бенчмарк успешно тестирует отдельные компоненты — большинство ведущих моделей проходят проверки отдельных функций, — результаты выявляют критическую слабость: агенты значительно испытывают трудности, когда функции должны взаимодействовать или интегрироваться. Точки отказа обнаруживаются там, где встречаются разные части системы, например, при обработке конфликтов слияния в системах хостинга кода или при включении кросс-словного комментирования в редакторах документов.
Показатели производительности показывают, что лишь горстка продвинутых моделей может пройти значительный процент от общего числа тестов сборки. Бенчмарк подчеркивает, что просто обладать мощными отдельными моделями недостаточно; настоящее программное развитие требует надежного системного рассуждения и интеграционных возможностей.
Почему это важно
- —Он выходит за рамки тестирования изолированных функций, фокусируясь на сложной задаче системной интеграции.
- —Результаты предоставляют четкую, количественную меру способности AI-агента справляться со сложностью реального программного обеспечения.
- —Он устанавливает новый отраслевой стандарт для оценки реальных возможностей передовых моделей ИИ в разработке.
Ключевые факты
- ViBench 2.0 тестирует агентов на 17 продуктах, охватывая 241 функцию и 544 тестовых плана.
- Только три модели смогли пройти более 40% от общего количества тестов сборки.
- Основной причиной сбоев для лучших моделей являются не отдельные функции, а интеграция, где встречаются функции.
- Бенчмарк показывает, что более новые модели, такие как GPT-6.1 Sol, значительно улучшают производительность по сравнению со старыми версиями.
Полный текст — в первоисточнике. Здесь — краткое изложение и ключевые факты.