Традиционные ИИ-системы часто направляют все запросы к одному большому и дорогому языковому модели, что увеличивает стоимость и задержки, а также требует постоянного подключения к облаку.
AAIF использует три уровня обработки: легковесный локальный оркестратор на базе малой языковой модели llama3.2:1b, локальную обработку рутинных задач (например, телеметрия и анализ изображений) с помощью моделей, запущенных на устройстве через Ollama, и облачную обработку сложных запросов через Amazon Bedrock.
Такой подход позволяет выполнять простые операции быстро и без подключения к сети, а сложные задачи направлять в облако для более глубокого анализа и стратегических рекомендаций.
Архитектура гибко адаптируется под разные условия: может работать полностью на периферийных устройствах с ограниченными ресурсами, полностью в облаке или в гибридном режиме.
В основе решения лежит интеллектуальная маршрутизация запросов с помощью малой модели, что обеспечивает экономию ресурсов и улучшает пользовательский опыт за счет снижения задержек.
AAIF демонстрирует, как грамотное распределение задач между локальными и облачными ИИ-моделями позволяет компаниям снизить расходы на API, повысить скорость отклика и обеспечить работу в офлайн-режиме. Это особенно важно для IoT и других сценариев с ограниченной связью и ресурсами.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.