Многошаговые агентные задачи требуют обработки растущего контекста с каждым новым ходом диалога, что приводит к повторной обработке истории и увеличению времени отклика.
Традиционная архитектура vLLM передавала KV-кэш только в одном направлении — от prefill к decode. Это приводило к тому, что decode-узел хранил состояние сгенерированных токенов, а prefill-узел вынужден был повторно вычислять KV для предыдущих ответов, увеличивая нагрузку и задержки.
В новой реализации decode-узел возвращает ранее вычисленные KV-блоки обратно prefill-узлу, который может повторно использовать их при обработке следующего хода. Это двунаправленная передача KV-кэша, управляемая маршрутизатором, учитывающим состояние кэша.
В тестах на Amazon EC2 P5en с AWS EFA двунаправленная передача KV сократила время до первого токена до 1.6 раза для модели Qwen3-32B и до 3.3 раза для GLM-5-FP8, значительно улучшая отзывчивость в длительных диалогах.
Реализация поддерживает ускорители NVIDIA GPU и AWS Trainium и интегрирована в vLLM как универсальная функция для повышения эффективности многократных запросов.
Для компаний, создающих диалоговые и агентные AI-приложения, двунаправленная передача KV-кэша в vLLM снижает вычислительные затраты и задержки при обработке длинных сессий, что улучшает масштабируемость и качество пользовательского опыта.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.