Perplexity AI научила свою модель исправлять ошибки самостоятельно
Компания Perplexity AI представила результаты исследования по усовершенствованию обучения своих больших языковых моделей (LLM), научив их самостоятельно исправлять собственные ошибки.
Для этого был использован метод подсказочно-направленной самодистилляции и отборочное обучение. Суть метода заключается в том, что модель учится на своих неудачных сессиях, а не только на успешных, что позволяет ей выявлять и исправлять сбои, которые выходят за рамки стандартных сценариев.
В результате тестирования, более поздняя версия модели показала значительный прирост надежности: количество сбоев при вызовах инструментов снизилось на 21,2%. Кроме того, в отдельном тесте, модель, использующая подсказки для коррекции ошибок, избегала исходной ошибки в 93,7% случаев, что значительно выше, чем 75,1% для модели без помощи подсказок.
Почему это важно
- —Повышение надежности: Модель стала значительно меньше ошибаться, особенно при использовании внешних инструментов.
- —Новый подход к обучению: Методика обучения на собственных ошибках (самодистилляция) повышает качество и устойчивость ИИ.
- —Практическое применение: Снижение сбоев при вызовах инструментов критически важно для реального использования ИИ в сложных задачах.
Ключевые факты
- Снижение сбоев при вызовах инструментов на 21,2% в A/B-тесте.
- Модель, использующая подсказки, избегала ошибки в 93,7% случаев.
- В живом тесте неудачи вызова инструментов снизились с 2,24% до 1,77%.
- Использовались методы отборочного обучения и подсказочно-направленной самодистилляции.
Полный текст — в первоисточнике. Здесь — краткое изложение и ключевые факты.