Falcon-Emirati: Когда большая языковая модель изучает диалект, культуру и нюансы

Арабский язык — это не монолитный язык, а скорее обширная семья языков, которые разделяют общее название. В то время как Современный Стандартный Арабский (MSA) — это формальный регистр, используемый в новостных трансляциях, академических текстах и литературе, он редко отражает реальный повседневный разговорный язык, на котором говорят люди. В Объединенных Арабских Эмиратах (ОАЭ) повседневная жизнь, юмор, переговоры и рассказы ведутся на эмиратском арабском, который является специфическим диалектом Персидского залива. Этот диалект обладает собственной уникальной лексикой, своим отчетливым ритмом и богатым культурным контекстом, который пронизывает каждое взаимодействие. Глубина смысла в эмиратской поэзии, особенно в традиционной поэзии nabati, а также в местных пословицах и коротких анекдотах, часто невозможно передать простой, буквальный, слово за словом переводом. Следовательно, модель ИИ, обученная исключительно на MSA, какой бы продвинутой она ни была, переведет поверхностные слова эмиратского предложения, но фундаментально упустит из виду лежащий в основе культурный смысл и намерение.

Этот критический пробел в лингвистическом понимании — это именно то, что была разработана для устранения новая модель, Falcon-Emirati-7B. Эта модель специализирована на эмиратском диалекте и построена на надежном фундаменте Falcon-H1-Arabic. Ее основная цель — обеспечить понимание и генерацию эмиратского арабского языка таким образом, чтобы это отражало беглость, тон и глубокий культурный контекст носителя языка. Процесс разработки был не простой донастройкой; он потребовал глубокого погружения в нюансы разговорного языка и местной культуры.

Falcon-Emirati-7B не начинал с нуля. Он использовал возможности Falcon-H1-Arabic, который является частью более крупной, высокоэффективной семьи арабских моделей. Эта базовое модель примечательна своей продвинутой архитектурой, известной как гибрид Falcon-H1. Этот гибридный дизайн гениально сочетает два мощных механизма глубокого обучения: Модели Пространства Состояний (в частности Mamba) и традиционный механизм внимания Трансформера (Transformer attention mechanism). Эти два компонента работают параллельно в каждом блоке обработки, а их выходы объединяются перед следующей проекцией. Эта комбинация технически блестяща, потому что она придает линейную эффективность Mamba — что означает, что она может быстро обрабатывать очень длинные последовательности текста — одновременно сохраняя точность механизма внимания Трансформера, который жизненно важен для отслеживания долгосрочных зависимостей. Такие возможности абсолютно критически важны при работе с морфологически богатым языком, таким как арабский, где окончания и структуры слов могут значительно меняться в зависимости от грамматики и контекста. Семейство Falcon масштабируемо, предлагая версии от 3B до 34B параметров, и может похвастаться огромными контекстными окнами, достигающими 128K и даже 256K токенов, что позволяет ему обрабатывать чрезвычайно длинные документы и разговоры. Более того, базовая модель уже была предварительно обучена на широкой смеси MSA и нескольких основных арабских диалектов, включая диалекты Персидского залива, Леванта, Египта и Магриба, а также на английском и мультиязычных данных, что обеспечило сильную, общую отправную точку.

В то время как базовая модель обеспечила широкое понимание арабского языка и превосходную обработку длинного контекста, Falcon-Emirati-7B сосредоточился на специфических, локализованных знаниях. Решение использовать вариант 7B было результатом тщательного процесса оптимизации. Разработчики обнаружили, что это «золотая середина»: достаточно большой, чтобы усвоить необходимую глубину диалектных нюансов и культурных знаний, но достаточно маленький, чтобы затраты, связанные как с обучением, так и с запуском модели (инференсом), оставались практичными для специализированного чат-приложения. Использование модели 34B, хотя потенциально и могло бы обеспечить незначительный прирост качества, повлекло бы непомерные расходы для диалект-специфичного чат-инструмента, в то время как модель 3B не обладала бы необходимой емкостью для глубокого лингвистического и культурного понимания, требуемого для истинной специализации. Этот стратегический выбор размера параметров 7B представляет собой критический баланс между производительностью и операционной осуществимостью.

Путь к созданию диалект-специалиста гораздо сложнее, чем просто добавление диалектных данных. Сложность проистекает из нескольких уникальных лингвистических и проблем с данными. Во-первых, эмиратский арабский — это преимущественно разговорный диалект. Следовательно, он встречается в письменном онлайн-контенте гораздо реже, чем MSA или даже другие основные диалекты Персидского залива и Леванта, что приводит к нехватке сырых, аутентичных текстовых данных. Во-вторых, передаваемый смысл часто не является буквальным; истинное сообщение сильно зависит от общего культурного контекста, заключенного в идиомах, пословицах и поэтических отсылках, а не только от словарного определения использованных слов. В-третьих, не существовало установленного, документированного руководства для этой задачи. Команде пришлось выяснить, посредством обширных проб и ошибок, оптимальное сочетание диалектных данных и данных MSA, наиболее эффективные этапы обучения (такие как продолженное предварительное обучение, Supervised Fine-Tuning (SFT) или оптимизация предпочтений), а также как лучше всего интегрировать человеческое суждение с количественными оценочными показателями для достижения измеримых улучшений. Весь процесс разработки характеризовался итеративным экспериментированием и глубокой предметной экспертизой, а не следованием стандартному академическому рецепту.

Для создания специализированного конвейера данных эмиратского диалекта поверх существующего фундамента Falcon-H1-Arabic команда использовала три отдельных и взаимодополняющих источника. Первый источник включал сбор и курирование контента непосредственно с эмиратских веб-сайтов и онлайн-форумов. Критически важно, что этот контент был написан на диалекте, то есть он не был переведен или транслитерирован из MSA. Это предоставило «истинную основу» — реальный снимок того, как эмиратцы общаются онлайн, фиксируя повседневные фразы, разговорные выражения и естественный, ответный разговорный поток, который смешивает диалектную речь с элементами MSA. Второй источник — это материал на языке MSA, который был специально сфокусирован на эмиратской культуре, наследии и языке. Этот материал включал статьи и ссылки, детализирующие местные обычаи, исторические ценности и социальные нормы, включая то, как эмиратцы воспринимаются и стереотипизируются другими. Эти данные не научили модель как говорить на диалекте, а скорее научили ее контексту — предметной области, этикету и культурному фону, которые носитель языка интуитивно понимает при обсуждении эмиратских тем. Наконец, поскольку только аутентичный диалектный текст не мог охватить широкий спектр тем, которые должна обрабатывать современная чат-модель ежедневно, команда сгенерировала значительный объем синтетических данных эмиратского диалекта. Эта генерация была строго ограничена; ей не позволялось просто импровизировать в обобщенном «заливном» арабском, а тщательно направлялась для заполнения конкретных пробелов в знаниях при сохранении лингвистической достоверности.