Техническое задание: Система контроля сборки блюд с использованием Computer Vision

Цель проекта

Разработка минимально жизнеспособного продукта (MVP) для автоматического контроля качества сборки готовых блюд в ресторане с помощью камеры, установленной сверху.

Основной функционал

• Автоматический захват кадра с камеры при появлении в зоне видимости тарелки с блюдом.
• Классификация основного блюда (1-3 позиции в ассортименте).
• Детекция и выделение bounding boxes для всех ингредиентов на тарелке (Object Detection).
• Визуальная сверка собранного блюда с эталоном с использованием методов сравнения эмбеддингов (Vector/Metric Learning).
• Выявление несоответствий: отсутствие ингредиентов, их неправильное количество или неаккуратная сборка.
• При обнаружении ошибки - автоматическая отправка в Telegram-канал фотографии с нанесенной разметкой (Bounding Boxes) и описанием проблемы.

Стек технологий и требования

Основные технологии:

• Язык программирования: Python.
• Фреймворк для детекции объектов: YOLOv8 (или аналогичный современный фреймворк).
• Методы сравнения изображений: работа с эмбеддингами, косинусное сходство (Cosine Similarity), понимание принципов сиамских сетей.
• Интеграция с мессенджером: Telegram Bot API.
• Организация backendu: асинхронный код (предпочтительно с использованием FastAPI, Aiogram или аналогов).

Требования к исполнителю:

• Практический опыт работы с фреймворком Ultralytics YOLO, включая обучение моделей на пользовательских датасетах.
• Глубокое понимание метрик визуального сходства (Cosine Similarity) и подходов Metric Learning для сравнения изображений.
• Умение писать асинхронный и эффективный код на Python.
• Готовность проводить удаленную отладку системы, работая напрямую с оборудованием заказчика через программы удаленного доступа (AnyDesk/TeamViewer). Это необходимо для настройки взаимодействия с физической камерой.

Аппаратное обеспечение заказчика:

Для запуска и отладки системы будет предоставлен ноутбук с видеокартой NVIDIA GeForce RTX 4060.

Что необходимо предоставить в отклике

Пожалуйста, опишите ваш опыт в области компьютерного зрения и приведите примеры реализованных проектов, например:

• Системы детекции дефектов или брака на производстве.
• Проекты по подсчету объектов на изображении или видео.
• Другие кейсы, связанные с классификацией, детекцией объектов или сравнением изображений.

Подробное техническое задание будет отправлено исполнителям, чей опыт соответствует требованиям проекта.