vLLM — это движок для инференса больших языковых моделей, который разделяет обработку на две фазы: prefill (создание KV-кэша на основе входного запроса) и decode (генерация ответа по одному токену). Разделение этих фаз на разные узлы позволяет оптимизировать ресурсы, но требует передачи KV-кэша между ними, что влияет на задержку.
Ранее vLLM использовал pull-модель передачи KV: decode-узел запрашивал кэш после завершения prefill, что добавляло задержку из-за последовательных операций согласования и выделения памяти.
Новая push-модель переносит подготовку и передачу KV-кэша на сторону prefill и выполняет её в фоновом потоке, позволяя decode-узлу заранее зарегистрировать целевые блоки и начать передачу сразу после готовности данных. Это сокращает время до первого токена (TTFT) и улучшает время генерации каждого токена (TPOT).
В тестах на кластере Amazon EC2 P5en с использованием AWS Elastic Fabric Adapter (EFA) push-модель показала до 3-кратного улучшения TTFT и до 30% повышения TPOT для модели Qwen3-32B по сравнению с pull-моделью.
Реализация push-передачи интегрирована в vLLM и поддерживает ускорители NVIDIA GPU и AWS Trainium, что делает её универсальным решением для ускорения инференса больших языковых моделей.
Для компаний, использующих большие языковые модели в продуктах и сервисах, внедрение push-передачи KV-кэша в vLLM позволит значительно снизить задержки отклика и повысить пропускную способность при масштабировании, что улучшит пользовательский опыт и снизит затраты на инфраструктуру.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.