Perplexity AI представляет JOLT: новый метод для продвинутого обучения LLM
Perplexity AI представила JOLT — новый метод постобучения, разработанный для значительного улучшения процесса обучения больших языковых моделей (LLMs). В отличие от традиционных методов обучения с подкреплением, таких как GRPO, которые предоставляют только одну награду в конце задачи, JOLT использует уникальную динамику «учитель-ученик», чтобы давать подробную пошаговую обратную связь.
В этой системе одна модель выступает одновременно и в роли учителя, и в роли ученика. Учитель обучается с использованием дополнительной информации, такой как проверенные решения, что позволяет ему предоставлять гранулированную обратную связь за каждый токен, направляющую процесс обучения ученика. Этот подход самодистилляции гораздо информативнее, чем предыдущие методы, помогая ученику понять, где именно он ошибся.
JOLT дополнительно улучшает процесс обучения, заставляя учителя обучаться на наградах, полученных в результате его собственных попыток, одновременно наказывая себя, если его прогнозы отклоняются от прогнозов ученика. Результаты весьма впечатляющие: JOLT+ превзошел GRPO на пяти различных эталонных наборах данных, включая задачи, связанные с математикой, кодированием и использованием инструментов, достигнув заметных 9,9 баллов на AppWorld.
Почему это важно
- —Он представляет высокоэффективную, продвинутую парадигму обучения (JOLT), которая значительно улучшает производительность модели.
- —Предоставляя обратную связь за токен, он преодолевает ограничения более старых методов обучения с подкреплением (таких как GRPO).
- —Высокая производительность на различных эталонных тестах (математика, кодирование, использование инструментов) подтверждает широкую применимость метода.
Ключевые факты
- JOLT — это метод постобучения, где одна модель выступает одновременно и в роли учителя, и в роли ученика.
- Он предоставляет подробную обратную связь за токен, что превосходит системы с единой наградой, такие как GRPO.
- JOLT+ превзошел GRPO по пяти эталонным тестам, включая AppWorld (9,9 балла).
- Компонент учителя обучается на наградах за результат и наказывает за расхождение с предсказаниями ученика.
Полный текст — в первоисточнике. Здесь — краткое изложение и ключевые факты.