Раньше при развертывании модели на GPU-эндпоинте минимальной единицей была целая видеокарта, что приводило к неэффективному использованию ресурсов: либо модель не использовала всю мощность GPU, либо приходилось платить за избыточные возможности.
С внедрением поддержки MIG в SageMaker Inference теперь можно делить один GPU на несколько независимых разделов с выделенными вычислительными ресурсами и памятью, что обеспечивает изоляцию на аппаратном уровне.
Это позволяет размещать на одном GPU несколько моделей с разными требованиями по ресурсам, избегая проблем с производительностью и безопасностью, а также снижая расходы за счёт более точного подбора мощности.
Ранее для подобного разделения приходилось использовать собственные Kubernetes-кластеры с дополнительной настройкой, теперь же это доступно на управляемой платформе SageMaker без лишних сложностей.
Salesforce уже использует эту технологию для повышения эффективности масштабирования AI-инференса, отмечая улучшение использования GPU, снижение затрат и сохранение предсказуемой производительности.
Поддержка Multi-Instance GPU в SageMaker Inference позволяет компаниям эффективнее использовать дорогостоящие GPU-ресурсы, снижать затраты на AI-инференс и упрощать управление инфраструктурой, что особенно важно при работе с множеством моделей и вариаций.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.