В отличие от традиционного дообучения моделей на отдельные запросы, MTRL обучает агента, который выполняет серию взаимозависимых шагов, оценивая успех всей последовательности целиком.
Примером служит игра Wordle, где модель делает до шести попыток угадать слово, получая обратную связь после каждого шага. MTRL позволяет модели улучшать стратегию на основе итогового результата, а не только на основе отдельного действия.
Обучение происходит через взаимодействие агента, размещённого на Amazon Bedrock AgentCore, с моделью, которая через API SageMaker AI делает предположения и получает награду после завершения эпизода.
В ходе эксперимента модель gpt-oss-20b повысила точность угадывания с 61% до 84% при стандартных настройках и с 15% до 69% при низких ресурсах, затратив около 339 долларов на обучение.
MTRL поддерживает несколько базовых моделей и работает в нескольких регионах AWS, при этом все данные и модели остаются в аккаунте пользователя, что обеспечивает безопасность и контроль.
MTRL на SageMaker AI открывает новые возможности для бизнеса по созданию специализированных моделей, способных эффективно решать сложные многошаговые задачи, что улучшит автоматизацию внутренних процессов и повысит качество сервисов.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.