GPT-OSS-20B — открытая модель для рассуждений, изначально ориентированная на английский язык. При попытке рассуждать на французском, немецком, испанском или итальянском модель часто переключалась обратно на английский, что снижало качество ответов.
Для решения этой проблемы AWS применил два метода: supervised fine-tuning (SFT) — обучение с учителем, и reinforcement learning с Group Relative Policy Optimization (GRPO) — метод оптимизации поведения модели. SFT обучает модель новому поведению, а GRPO улучшает уже существующие навыки.
Эксперименты показали, что SFT решает основную задачу, а GRPO добавляет улучшения там, где есть потенциал для доработки. Для обучения использовалась инфраструктура Amazon SageMaker HyperPod с распределённым управлением и эффективным хранением данных.
В итоге модель стала лучше понимать и рассуждать на нескольких языках, что критично для команд, которые хотят использовать ИИ для пользователей по всему миру без потери качества.
Этот кейс демонстрирует, как правильная тонкая настройка и выбор методов обучения позволяют адаптировать крупные языковые модели под конкретные задачи и языковые требования, используя облачные вычисления AWS.
Для бизнеса, работающего с многоязычными аудиториями, важно адаптировать ИИ-модели под нужные языки и контексты. AWS показал, что грамотная тонкая настройка моделей на облачной платформе позволяет повысить качество и релевантность ответов, что улучшает пользовательский опыт и расширяет рынки.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.