Цель проекта
Разработать детальный промпт (инструкцию) для модели ИИ, которая получает на вход фотографию блюда и выдает результат подсчета калорий.
Ключевые требования к точности
- Итоговая точность распознавания по результатам ручной проверки должна быть не менее 85%.
- Промпт должен предусматривать все типичные схемы фотосъемки еды.
- Учитываются возможные множественные или единичные кусочки на тарелке.
Необходимый функционал промпта
Промпт должен содержать четкие инструкции для модели в следующих сценариях:
Определение объема и расстояния
- Учет известных объектов-референсов: вилка, столовая ложка, банковская карта (для определения масштаба).
- Алгоритм расчета примерного расстояния от камеры до тарелки на основе этих объектов.
Подсчет количества пищи
- Механизм подсчета либо по количеству кусочков (например, пельмени, ягоды), либо по их пиксельной площади на изображении.
- Вычисление суммарного объема семплов относительно размера тарелки.
Работа с текстом на упаковке
- Если на фото присутствует упаковка продукта, промпт должен явно указывать модели, что приоритет следует отдать штрихкоду или таблице КБЖУ.
Водные знаки и исключения
- Промпт требует отслеживать визуальные искажения, полупрозрачные наложения и взвешивать полученные данные с балансом негативного восприятия качеств фото.
Ожидаемый итоговый результат работы
Готовый к эксплуатации текст промпта, вставляемый любым нейросетевым интерфейсом компьютерного зрения (выбор вендора остается за исполнителем). Точность работы тестируется вручную в конце типовых заданных случаев съемки.