AI4Bharat и NVIDIA выпустили датасет из 2,8 триллиона токенов для 22 индийских языков

AI4Bharat в сотрудничестве с NVIDIA и IIT Madras представил Nemotron-pretraining-Indic-v1 — монументальный ресурс, включающий приблизительно 2,8 триллиона токенов. Этот набор данных специально разработан для предварительного обучения больших языковых моделей (LLMs) на 22 основных индийских языках, которые являются официальными языками, признанными в Конституции Индии. Этот релиз — не просто набор данных; это комплексный пакет, который включает открытый, ускоренный на GPU конвейер генерации данных, предоставляя разработчикам «полный рецепт», использованный для создания массивного корпуса. Огромный масштаб и охват этой работы призваны решить критический технологический пробел: историческую недопредставленность индийских языков в глобальной экосистеме данных для ИИ, которая в значительной степени была доминирована английскими данными.

Основная инновация заключается в самом открытом конвейере. Разработчикам предоставляются не только данные; им предоставляется весь рабочий процесс, включая промпты, рабочие процессы LLM и строгие проверки обеспечения качества. Это позволяет сообществу адаптировать систему к собственным уникальным исходным материалам и генерировать специализированные данные, адаптированные к конкретным потребностям. AI4Bharat, специализированная индийская исследовательская лаборатория языков при IIT Madras, давно создает ресурсы с открытым исходным кодом, такие как корпус Sangraha, закладывая основу для открытых исследований индийских языков. Этот совместный релиз представляет собой массивное расширение синтетических обучающих данных для индийских языков, делая разработку передовых моделей значительно более доступной для мирового сообщества.

Для повышения технической глубины моделей корпус включает широкую смесь курированных английских материалов, включая специализированный контент, такой как математика, программный код и пары «вопрос-ответ», который затем переводится или адаптируется для целевых индийских языков. Это гарантирует, что модели, обученные на этих данных, смогут не только понимать разговорный язык, но и объяснять сложные технические концепции, решать структурированные задачи и отвечать на подробные вопросы на этих языках. Крайне важно, что каждый сгенерированный синтетический текст прослеживается до курированного исходного документа, и его вывод проверяется на соответствие вводу, гарантируя, что сгенерированный текст остается фактически обоснованным реальной информацией. Эта приверженность происхождению жизненно важна для создания надежных и заслуживающих доверия систем ИИ.

Решая фундаментальную проблему, Митеш Кхапра, руководитель AI4Bharat, подчеркнул, что основным узким местом в технологии индийских языков является нехватка достаточного объема высококачественных данных по сравнению с английским языком. Этот релиз напрямую решает эту проблему, предоставляя не только массивные объемы данных, но и средства для генерации большего. Корпус тщательно структурирован с учетом разнообразных способов письма в Индии. Он включает данные в нативном скрипте для всех 22 языков, а также романизированный текст (написанный с использованием латинского алфавита) для двенадцати из них. Это приводит к сложной структуре, охватывающей 34 различных конфигурации языка и скрипта. Рабочий процесс генерации данных сложен, сочетая перевод на уровне документов, оценку качества и целевые механизмы исправления. Кроме того, система включает специальные проверки для сохранения целостности специализированных форматов контента, таких как уравнения, таблицы и блоки кода, которые часто теряются при простом переводе.

Этот обширный ресурс данных дополняет естественно написанный индийский текст, который остается незаменимым для фиксации местных знаний и уникального культурного контекста. Подробно описана техническая архитектура корпуса, отмечается, что подсчет токенов описывает сохраненный корпус, включая принятые переписывания, а не общий бюджет токенов за один прогон обучения, и что эти счетчики зависят от используемого токенизатора (в данном случае, токенизатора Gemma-4). Корпус построен с использованием документов, полученных из 15 различных подмножеств Nemotron-CC-v2, охватывающих разнообразные домены, такие как общий веб-текст, Q&A, математика и код. На протяжении всего рабочего процесса используется фреймворк NVIDIA NeMo Data Designer для управления процессами перевода, проверки качества и целевого исправления. Возможность проследить каждый вывод до его исходного документа является ключевой функцией, которую могут использовать разработчики. Релиз также подробно описывает, как Nemotron 3.5 Super VL был дополнительно улучшен за счет включения 10 миллиардов токенов индийских языков, взятых из двенадцатиязычного подмножества этого корпуса в сочетании с естественным индийским текстом, демонстрируя немедленное практическое применение нового ресурса данных. Открывая как массивный ресурс данных, так и весь процесс генерации, цель состоит в демократизации крупномасштабной генерации данных индийских языков, что позволяет более широкому кругу разработчиков создавать надежные и сложные модели ИИ в условиях лингвистического разнообразия Индии.

Различие между нативным скриптом и романизированными данными имеет решающее значение для разработчиков моделей. Хотя оба могут выражать один и тот же базовый контент, они предлагают разную экспозицию скриптов для модели. Например, корпус включает данные в нативном скрипте для таких языков, как Assamese, Bodo, Dogri, Kashmiri, Konkani, Maithili, Manipuri, Sanskrit, Santali и Sindhi, в то время как романизация охватывает подмножество принятых переводов для двенадцати двускриптных языков. Понимание этого различия позволяет разработчикам создавать высоко нюансированную обучающую смесь, максимизируя экспозицию модели к различным лингвистическим представлениям при сохранении целостности контента. Такой уровень технической детализации и открытой методологии устанавливает новый стандарт для мультиязычной разработки ИИ в недостаточно представленных языковых группах, предоставляя мощный план для аналогичных усилий во всем мире.