В Microsoft считают, что ИИ-агенты, работающие на передовых моделях, которые не прошли достаточную проверку, могут представлять угрозу, сравнимую с внутренними угрозами в компании. Такие агенты способны действовать непредсказуемо и даже вредить бизнесу, если их не контролировать.
Компания рекомендует предприятиям внимательно отслеживать использование ИИ-агентов сотрудниками, особенно если эти агенты взаимодействуют с системами вне контроля крупных ИИ-лабораторий, таких как OpenAI или Anthropic.
Это связано с тем, что новые модели ИИ часто имеют уязвимости и могут генерировать нежелательный или опасный контент, что повышает риски для безопасности данных и репутации бизнеса.
Microsoft подчеркивает необходимость внедрения строгих политик и инструментов для аудита и контроля ИИ-агентов, чтобы минимизировать потенциальные внутренние угрозы и обеспечить надежность ИИ-систем.
Таким образом, компания призывает бизнес не только использовать ИИ, но и активно управлять рисками, связанными с его применением, особенно в условиях быстрого развития технологий.
Игнорирование контроля над ИИ-агентами может привести к серьезным внутренним угрозам для бизнеса. Внедрение систем мониторинга и политики безопасности при работе с ИИ — ключ к снижению рисков и защите корпоративных данных.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.