В традиционном подходе Amazon SageMaker перед запуском AI-задачи полностью скачивает и распаковывает контейнерный образ, что для глубокого обучения может занимать до нескольких минут и увеличивает время простоя GPU.
SOCI (Seekable OCI) — это открытая технология, позволяющая загружать только необходимые для старта контейнера файлы, а остальные — подгружать по мере необходимости в фоне. Это сокращает время запуска до 3–11 секунд вне зависимости от размера образа.
В тестах SOCI-индексация уменьшила время загрузки образов размером от 1,8 до 35,4 ГБ в 8–38 раз, а время простоя GPU — до 90%. Технология работает на всех типах инстансов и не требует изменений в определении задач.
Для использования достаточно указать заранее индексированный образ AWS Deep Learning Container или добавить индекс к собственному образу. При отсутствии индекса SageMaker автоматически возвращается к стандартной загрузке, что гарантирует стабильность.
Это решение особенно выгодно для задач с большим количеством коротких запусков, например, гиперпараметрического тюнинга и быстрых экспериментов, где время загрузки образа существенно влияет на общую производительность.
SOCI-индексация в SageMaker позволяет бизнесу ускорить запуск AI-задач, снизить расходы на вычисления и повысить эффективность разработки моделей, особенно при масштабных и частых экспериментах.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.