Голосовые AI-интерфейсы становятся стандартом в контакт-центрах, телемедицине, играх и доступности, но высокая задержка разрушает естественный диалог и снижает доверие пользователей.
Традиционные модели на базе трансформеров требуют обработки всей последовательности целиком, что увеличивает задержку. State Space Models (SSM) обрабатывают данные пошагово, сохраняя компактное внутреннее состояние, что снижает вычислительные затраты и задержку.
Cartesia разработала две модели: Sonic для синтеза речи с задержкой около 90 мс и Ink для транскрипции с поддержкой определения пауз и контекста разговора. Обе модели поддерживают потоковую обработку и высокое качество.
Sonic обеспечивает реалистичную речь на 44 языках, умеет клонировать голос по 10-секундному образцу и поддерживает согласованность тона на длинных отрезках.
Ink транскрибирует речь в реальном времени, автоматически определяет конец реплики и различает паузы внутри предложения и между репликами, что улучшает естественность диалога.
Использование SSM и AWS-инфраструктуры позволяет создавать голосовые AI с минимальной задержкой и высоким качеством, что критично для приложений, где важна естественная коммуникация и пользовательский опыт.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.