Техническое задание: Система контроля сборки блюд с использованием Computer Vision

Цель проекта

Разработка минимально жизнеспособного продукта (MVP) для автоматического контроля качества сборки готовых блюд в ресторане с помощью камеры, установленной сверху.

Основной функционал

Автоматический захват кадра с камеры при появлении в зоне видимости тарелки с блюдом.
Классификация основного блюда (1-3 позиции в ассортименте).
Детекция и выделение bounding boxes для всех ингредиентов на тарелке (Object Detection).
Визуальная сверка собранного блюда с эталоном с использованием методов сравнения эмбеддингов (Vector/Metric Learning).
Выявление несоответствий: отсутствие ингредиентов, их неправильное количество или неаккуратная сборка.
При обнаружении ошибки - автоматическая отправка в Telegram-канал фотографии с нанесенной разметкой (Bounding Boxes) и описанием проблемы.

Стек технологий и требования

Основные технологии:

Язык программирования: Python.
Фреймворк для детекции объектов: YOLOv8 (или аналогичный современный фреймворк).
Методы сравнения изображений: работа с эмбеддингами, косинусное сходство (Cosine Similarity), понимание принципов сиамских сетей.
Интеграция с мессенджером: Telegram Bot API.
Организация backendu: асинхронный код (предпочтительно с использованием FastAPI, Aiogram или аналогов).

Требования к исполнителю:

Практический опыт работы с фреймворком Ultralytics YOLO, включая обучение моделей на пользовательских датасетах.
Глубокое понимание метрик визуального сходства (Cosine Similarity) и подходов Metric Learning для сравнения изображений.
Умение писать асинхронный и эффективный код на Python.
Готовность проводить удаленную отладку системы, работая напрямую с оборудованием заказчика через программы удаленного доступа (AnyDesk/TeamViewer). Это необходимо для настройки взаимодействия с физической камерой.

Аппаратное обеспечение заказчика:

Для запуска и отладки системы будет предоставлен ноутбук с видеокартой NVIDIA GeForce RTX 4060.

Что необходимо предоставить в отклике

Пожалуйста, опишите ваш опыт в области компьютерного зрения и приведите примеры реализованных проектов, например:

Системы детекции дефектов или брака на производстве.
Проекты по подсчету объектов на изображении или видео.
Другие кейсы, связанные с классификацией, детекцией объектов или сравнением изображений.

Подробное техническое задание будет отправлено исполнителям, чей опыт соответствует требованиям проекта.

код