В традиционных системах авто масштабирования для TTS часто используют приблизительные значения, что приводит к либо избыточным затратам на простаивающие GPU-инстансы, либо к ухудшению качества обслуживания из-за задержек при пиковых нагрузках.
AWS внедрил модель Kokoro-82M с 82 миллионами параметров в кастомном контейнере на Amazon SageMaker AI и измерил две ключевые метрики: максимальную одновременную нагрузку (Q_max), которую выдерживает один инстанс без нарушения SLA, и время полного масштабирования (T_total).
На основе этих данных автоматически рассчитываются пороги масштабирования и паузы между изменениями, что позволяет избежать ошибок, связанных с догадками, и обеспечивает стабильную работу сервиса при изменении трафика.
Решение опирается на нативный метрик ConcurrentRequestsPerModel, публикуемый Amazon SageMaker AI, что исключает ошибки из-за отсутствия или неправильной настройки пользовательских метрик.
Точное измерение и автоматическое вычисление параметров масштабирования для AI-сервисов позволяет снизить расходы и повысить качество обслуживания без ручных настроек и догадок. Это особенно важно для моделей с длительным временем отклика, таких как TTS.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.