Amazon Bedrock AgentCore теперь поддерживает использование моделей принятия решений, которые оценивают ответы ИИ-агентов по фиксированному набору вариантов с калиброванной вероятностью, а не генерируют свободный текст с неопределенной уверенностью.
Такие модели идеально подходят для задач, где нужно однозначно определить, соответствует ли ответ политике, безопасен ли вызов инструмента или совпадает ли ответ с контекстом, что важно для автоматизированного контроля качества и безопасности.
В дополнение к 15 встроенным оценщикам, AgentCore позволяет создавать кастомные оценщики на базе LLM или кода, которые могут использовать внешние системы, включая модели принятия решений, для более узконаправленной и надежной оценки.
Применение моделей принятия решений позволяет получать числовые оценки с уверенностью, что упрощает автоматическую фильтрацию и принятие решений, снижая нагрузку на ручную проверку и повышая качество работы ИИ-агентов.
В статье подробно описан пример интеграции двух моделей — Jev от TypeSafe и Strands Decider 2B — с AgentCore, а также обсуждаются преимущества и ограничения такого подхода.
Внедрение моделей принятия решений в оценку ИИ-агентов позволяет бизнесу повысить надежность и прозрачность автоматизированных процессов, снизить риски ошибок и упростить масштабирование систем с ИИ, что критично для ответственных отраслей.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.