Модели ИИ достигают прорывной производительности в устаревших языках, таких как COBOL и Fortran

Последние достижения в AI-моделях для кодирования специально разработаны для решения серьезных проблем, связанных с языками программирования с ограниченными ресурсами, такими как COBOL, Fortran и Visual Basic. Эти языки имеют решающее значение, поскольку они лежат в основе значительной части критически важной инфраструктуры мира, даже несмотря на то, что им не хватает огромного количества общедоступного кода и документации, доступного для современных языков, таких как Python или JavaScript. Например, COBOL глубоко интегрирован в глобальные финансы, поддерживая более 40% систем онлайн-банкинга, 80% операций с кредитными картами в точках продаж и ошеломляющие 95% транзакций через банкоматы. Аналогичным образом, Fortran остается жизненно важным для сложных научных симуляций, включая прогнозирование погоды и критический анализ безопасности ядерных реакторов. Способность ИИ эффективно работать в этих устаревших системах имеет первостепенное значение для поддержания и модернизации услуг, которые обеспечивают работу мировой экономики.

Это исследование было напрямую мотивировано отзывами от корпоративных разработчиков и клиентов, которые отметили, что существующие модели кодирования испытывают огромные трудности при работе с уникальным синтаксисом, конвенциями и ограниченными обучающими данными этих старых языков. Процесс обслуживания или миграции программного обеспечения, написанного на этих языках, по своей сути сложен. Команды часто сталкиваются с неполной документацией, уходом первоначальных экспертов предметной области, а критически важная бизнес-логика — которая может включать специфические правила для финансовых расчетов или обработки записей — часто сохраняется только в самом коде. Независимо от того, заключается ли цель просто в исправлении ошибки или в полной миграции на современный стек, абсолютной необходимостью является сохранение точного, предполагаемого поведения существующей системы.

Чтобы строго измерить прогресс ИИ в этой области, разработчики ввели две сложные оценки. Первая — MultiLangBench, которая оценивает способность модели создавать функциональный, совместимый со SQLite, движок базы данных с нуля для разнообразного набора из 20 языков программирования. Этот тест является всеобъемлющим, требуя от модели не только написания кода, но и управления сложным состоянием, обработки различных ошибок времени выполнения и интеграции новых функций при строгом сохранении всей существующей функциональности. Вторая оценка фокусируется конкретно на миграции COBOL, бросая вызов модели по переводу существующих программ COBOL на современные языки, такие как C++, Java, Kotlin, Python или Rust, при этом гарантируя, что исходная бизнес-логика и вывод программы остаются идеально нетронутыми.

Вместе эти бенчмарки тестируют два взаимодополняющих и одинаково важных навыка: способность создавать сложные новые программные системы (MultiLangBench) и способность точно сохранять и переводить функциональность десятилетних, критически важных программ (миграция COBOL). Результаты демонстрируют существенные и измеримые улучшения по обоим направлениям, достигая более высокой точности и одновременно становясь более экономически эффективными для разработчиков.

Сосредоточившись на MultiLangBench, новые модели показывают резкий скачок производительности. GPT-6 Astra достигла впечатляющего среднего показателя прохождения теста в 87,4% по всем 20 языкам, что представляет собой огромный скачок по сравнению с 26,8%, зафиксированными ее предшественником, GPT-5.6 Sol. Это улучшение не было изолированным; каждый протестированный язык показал значительный рост. Например, в COBOL показатель прохождения вырос с мизерных 10,9% до 72,1%, а в Visual Basic он вырос с 27,5% до 89,4%. GPT-6 Astra набрала более 83% в 19 из 20 языков, подтверждая свою широкую компетентность, хотя COBOL остается самым сложным на уровне 72%. Кроме того, модель продемонстрировала исключительную способность в OCaml и Fortran, показав увеличение до 85,8% и 83,5% соответственно.

Для тех, кто обеспокоен экономической эффективностью, GPT-6 Luna предлагает убедительную альтернативу. Хотя она и достигает более низкого среднего показателя прохождения теста в 40,3% на MultiLangBench, она все равно значительно превосходит GPT-5.6 Sol в каждом протестированном языке. Что особенно важно, эти достижения сопровождаются массивным снижением эксплуатационных расходов, оцениваемым в среднем стоимости API в $0,77 за образец, что примерно на 78% ниже стоимости в $3,48, связанной с GPT-5.6 Sol. Это позиционирует Luna как высокожизнеспособное, оптимизированное по затратам решение для корпоративного внедрения.

Переходя к оценке миграции COBOL, прирост производительности столь же драматичен. GPT-6.1 Sol достигла точности 86,6% при низком уровне рассуждения, что является монументальным улучшением по сравнению с 5,4%, зафиксированными GPT-5.6 Sol. Это было достигнуто при снижении затрат на 39%. Даже при требовании более высокого уровня рассуждения точность достигла поразительных 97,9%, приближаясь к идеальной насыщению критериев оценки. Это демонстрирует, что модель может обрабатывать самую сложную, нюансированную бизнес-логику, встроенную в код.

Техническая глубина этих оценок заслуживает внимания. MultiLangBench требует от модели взаимодействия с общей интерфейсной точкой — файлом базы данных — получая начальное состояние базы данных и запрос SQL, а затем производя измененную базу данных. Для проверки того, содержит ли полученная база данных ожидаемое, правильное содержимое, используется эталонная реализация SQLite, что позволяет провести стандартизированный тест для всех языков. Оценка COBOL подчеркивает необходимость глубоких знаний предметной области; программы COBOL часто обрабатывают финансовые транзакции, где такие детали, как арифметическое вычисление с фиксированной запятой (которое определяет, как обрабатываются десятичные знаки и потенциально отбрасываются, если не округлены явно) и сложная обработка отсутствующих записей, являются не просто деталями программирования, а отражают основные бизнес-требования. Общие выводы подтверждают, что современные модели ИИ быстро становятся высококвалифицированными, точными и экономически эффективными инструментами для работы в широком спектре языков программирования, особенно тех, которые критически важны, но исторически недостаточно обслуживались разработкой ИИ. Значительный скачок производительности в миграции COBOL, с однозначных показателей до более 86% точности, представляет собой крупный прорыв для финансового и промышленного секторов, зависящих от устаревших систем. Введение MultiLangBench и тестового набора миграции COBOL предоставляет сообществу разработчиков прозрачные, измеримые инструменты для оценки возможностей ИИ в их специфических, часто нишевых, программных средах.