Property Finder обрабатывает десятки тысяч изображений недвижимости ежедневно, оценивая множество параметров качества. Для оценки новых моделей они использовали метки, созданные предыдущей моделью, что создало замкнутый круг и смещение.
Это смещение означало, что альтернативные модели казались хуже, так как оценивались по совпадению с предсказаниями старой модели, а не по объективной истине. Ошибки в метках усугубляли проблему.
Чтобы исправить ситуацию, команда вручную аннотировала 356 изображений с помощью экспертов, не опираясь на предыдущие предсказания. Это позволило создать надежный эталон для оценки моделей.
Далее они применили итеративную оптимизацию подсказок (prompt optimization) на Amazon Bedrock, используя AI-помощников и автоматизацию, чтобы повысить точность классификации до 86% при снижении затрат на 86%.
Этот опыт показывает, что качество данных для оценки моделей критично и что правильная методология и инструменты позволяют улучшить AI-продукты и снизить расходы.
Объективная оценка моделей требует независимых и качественных данных. Инвестиции в устранение смещения и оптимизацию подсказок на платформах вроде Amazon Bedrock повышают точность и экономят бюджет.
Материал подготовлен редакцией VOSHOD по открытому источнику. Мы сокращаем и адаптируем текст, чтобы выделить практический смысл.