Deepgram обрабатывает квадриллионы аудиотокенов в год для сотен тысяч разработчиков и организаций, предоставляя решения для распознавания речи, синтеза и голосовых агентов.
Для повышения эффективности и снижения затрат Deepgram перенес модель Nova-3 на AWS Trainium2, специализированные AI-чипы, оптимизировав код PyTorch и внедрив кастомные ядра для ключевых операций.
Оптимизация включала использование библиотеки NKILib с готовыми ядрами, а также ручную доработку некоторых слоев для максимальной производительности. В итоге на одном экземпляре EC2 trn2.3xlarge запускалось восемь копий модели.
Результат — на 11–70% больше обработанного аудио на доллар по сравнению с предыдущими решениями, что позволяет Deepgram масштабировать сервисы, улучшать модели и снижать цены для клиентов.
Оптимизации также доступны для клиентов, которые разворачивают Deepgram в своих облаках на Amazon SageMaker, что расширяет возможности использования голосового ИИ в корпоративных средах.
Оптимизация Deepgram на AWS Trainium демонстрирует, как аппаратные и программные улучшения могут существенно повысить эффективность и снизить стоимость масштабных AI-сервисов. Это критично для бизнеса, где обработка больших объемов аудио — ключевой элемент продуктов и услуг.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.