LlamaIndex представляет BooBench для стресс-тестирования парсеров документов
LlamaIndex выпустила BooBench — сложный новый бенчмарк, разработанный для тщательного тестирования возможностей парсеров документов. Этот бенчмарк состоит из 179 страниц, которые взяты из реальных документов и специально разработаны, чтобы заставить парсеры работать в режимах сбоя, таких как циклы повторения или некорректная извлечение данных.
Страницы имитируют сложные структуры документов, включая таблицы, заполненные нулями, почти идентичные строки и редкие скрипты. Основная цель BooBench — оценить способность парсера обнаруживать и избегать галлюцинированной или повторяющейся информации. Парсер считается неработоспособным (получает «Boo»), если он повторяет данные сверх того, что присутствует на странице, ничего не возвращает или истекает по времени.
Результаты выявляют значительные различия в производительности: LlamaParse Agentic и Agentic Plus достигли идеального результата (179/179), в то время как лучшие передовые VLM набрали 99,4%, а открытые VLM — от 61% до 93%. Это подчеркивает критическую необходимость стандартизированного, надежного тестирования при внедрении ИИ для понимания документов в корпоративной среде.
Почему это важно
- —Он выявляет критические слабые места в современных моделях парсинга документов, особенно в отношении повторения данных и галлюцинаций.
- —Он предоставляет стандартизированный, высокострогий набор тестов для корпоративного документооборота с помощью ИИ.
- —Разрыв в производительности между проприетарными и открытыми моделями подчеркивает текущее состояние искусства в понимании документов.
Ключевые факты
- BooBench — это бенчмарк из 179 страниц, использующий реальные, сложные документы.
- Бенчмарк специально нацелен на режимы сбоев, такие как циклы повторения и галлюцинации данных.
- LlamaParse Agentic и Agentic Plus достигли идеального балла 100% в тесте.
- Открытые VLM набрали от 61% до 93%, что указывает на вариативность производительности.
Полный текст — в первоисточнике. Здесь — краткое изложение и ключевые факты.