StateBench: Бенчмаркинг отслеживания состояния LLM в длинных контекстах

StateBench представляет критически важный новый бенчмарк, разработанный для тщательного тестирования фундаментальной и часто упускаемой возможности больших языковых моделей (LLMs): отслеживание состояния (state tracking) в течение расширенных, длинных документов с контекстом. Отслеживание состояния относится к способности модели поддерживать связную, развивающуюся память о различных сущностях — таких как персонажи, объекты или переменные — по мере того, как эти детали меняются или накапливаются в ходе длинного текста. Эта способность — не просто запоминание фактов; она требует от модели понимания динамики изменений.

Отслеживание состояния имеет решающее значение во многих реальных приложениях искусственного интеллекта. Рассмотрим область чтения кода, где переменные постоянно получают и переназначают значения. Модель должна точно отслеживать эти изменения, чтобы понять конечное состояние программы. Аналогично, в понимании повествования, если в детективном романе описывается последовательность событий — например, «Джон дал Мэри нож» — модель должна не только знать начальное состояние, но и отслеживать точную передачу владения, а также последующие изменения в физическом местоположении или имуществе персонажей. Сложность возникает из-за того, что простого воспроизведения недостаточно; модель должна следовать цепочке зависимостей, где пропуск даже одного шага в последовательности может привести к совершенно неверному окончательному выводу.

Критически важно, что исследователи подчеркивают: проблемы отслеживания состояния не являются монолитными. Они варьируются от простых обновлений до высокосложных, многоступенчатых цепочек зависимостей. В то время как существующие бенчмарки часто фокусируются на самых сложных, «самых трудных» сценариях, отрасли необходимо всестороннее понимание того, какие конкретные типы отслеживания состояния могут надежно обрабатывать различные архитектуры ИИ. Этот пробел в знаниях — знание производительности модели в спектре сложности — и послужил мотивацией для разработки StateBench.

Чтобы систематически решить эту проблему, StateBench структурирует задачи отслеживания состояния на четыре различных уровня сложности, каждый из которых соответствует определенному типу операции присваивания переменных. Эти уровни не произвольны; они теоретически обоснованы теорией Krohn–Rhodes — ветвью алгебры, которая позволяет разложить сложные задачи отслеживания состояния на фундаментальные, атомарные примитивы. Это теоретическое обоснование гарантирует, что бенчмарк измеряет различные, измеримые когнитивные способности, а не просто увеличивает количество токенов.

Четыре уровня сложности определены следующим образом:

1. R-trivial problems: Они представляют собой простейшую форму отслеживания состояния, связанную с неизменяемым присваиванием. В этом сценарии значение переменной устанавливается один раз и никогда не меняется в течение всего документа. Например, дата рождения человека или фиксированная константа в коде (let x = 4). Модели достаточно правильно определить начальное, фиксированное значение.

2. Aperiodic problems: Они немного сложнее и допускают переназначение по значению. Здесь модель должна определить самое последнее значение, присвоенное переменной, эффективно игнорируя все предыдущие, устаревшие значения. Это аналогично современному термостату, где текущее показание температуры (последнее присваивание) определяет текущее состояние, независимо от того, какой была температура несколько часов назад.

3. Soluble problems: Они вводят самореферентные обновления, что значительно повышает сложность. Вместо простого поиска последнего значения модель должна передавать изменения вперед, поскольку каждое новое обновление основывается на текущем состоянии переменной. Классический пример — отслеживание счета в игре, где каждое добавленное очко (x = x + 5) требует от модели запомнить общую сумму, а не только последний записанный счет.

4. General finite problems: Это самый сложный уровень, связанный с присваиванием по ссылке. В этом сценарии одна переменная принимает текущее значение другой переменной, создавая сложные, пересекающиеся зависимости по всему документу. Мощная аналогия — это фокусник, который неоднократно меняет предметы, спрятанные под набором чашек. Чтобы найти мяч, модель должна отслеживать, как каждый обмен меняет местоположение предмета относительно других. Этот уровень представляет проблему отслеживания состояния S₅, которая теоретически известна как одна из самых сложных задач в управлении состоянием.

Для обеспечения справедливого и строгого сравнения методология бенчмарка очень сложна: для любой заданной общей конечной последовательности присваиваний переменных исследователи выводят три более простых, сопоставимых версии — по одной для каждого из трех более низких уровней сложности (R-trivial, Aperiodic и Soluble). Это гарантирует, что все четыре проблемы используют одинаковое количество переменных и присваиваний в одних и тех же точках последовательности; меняется только тип присваивания, что позволяет провести прямое сравнение точки отказа модели.

При тестировании широкого спектра предварительно обученных моделей с открытым исходным кодом, StateBench выявляет критические сведения об архитектурных ограничениях. Теоретически, предполагается, что трансформеры надежно справляются с R-trivial проблемами, и в некоторой степени — с soluble и aperiodic. Однако теория предсказывает, что они, вероятно, потерпят неудачу при столкновении с полной сложностью общих проблем. В резком контрасте, бенчмарк предполагает, что рекуррентные и гибридные архитектуры, такие как Gated DeltaNet, обладают более гибким механизмом обновления памяти, который позволяет им обобщать гораздо дальше, чем стандартные модели-трансформеры, при обучении специально на этих задачах отслеживания состояния. Однако наиболее поразительным выводом является то, что даже современные передовые модели — включая Gemini 3.8 Flash, Claude Opus 5.5 и GPT-6 Sol and Luna — по-прежнему демонстрируют сбой в производительности при самых сложных формах отслеживания состояния по мере увеличения длины входных документов. Это говорит о том, что, хотя современные LLMs невероятно мощны, их способность поддерживать идеальную, долгосрочную, сложную память о состоянии остается значительной, нерешенной задачей в исследованиях ИИ. Таким образом, бенчмарк служит жизненно важным диагностическим инструментом, направляющим будущие исследования на разработку поистине надежных систем долгосрочной памяти с большим контекстом.