Техническое задание: Система контроля сборки блюд с использованием Computer Vision

Цель проекта

Разработка минимально жизнеспособного продукта (MVP) для автоматического контроля качества сборки готовых блюд в ресторане с помощью камеры, установленной сверху.

Основной функционал

  • Автоматический захват кадра с камеры при появлении в зоне видимости тарелки с блюдом.
  • Классификация основного блюда (1-3 позиции в ассортименте).
  • Детекция и выделение bounding boxes для всех ингредиентов на тарелке (Object Detection).
  • Визуальная сверка собранного блюда с эталоном с использованием методов сравнения эмбеддингов (Vector/Metric Learning).
  • Выявление несоответствий: отсутствие ингредиентов, их неправильное количество или неаккуратная сборка.
  • При обнаружении ошибки - автоматическая отправка в Telegram-канал фотографии с нанесенной разметкой (Bounding Boxes) и описанием проблемы.

Стек технологий и требования

Основные технологии:

  • Язык программирования: Python.
  • Фреймворк для детекции объектов: YOLOv8 (или аналогичный современный фреймворк).
  • Методы сравнения изображений: работа с эмбеддингами, косинусное сходство (Cosine Similarity), понимание принципов сиамских сетей.
  • Интеграция с мессенджером: Telegram Bot API.
  • Организация backendu: асинхронный код (предпочтительно с использованием FastAPI, Aiogram или аналогов).

Требования к исполнителю:

  • Практический опыт работы с фреймворком Ultralytics YOLO, включая обучение моделей на пользовательских датасетах.
  • Глубокое понимание метрик визуального сходства (Cosine Similarity) и подходов Metric Learning для сравнения изображений.
  • Умение писать асинхронный и эффективный код на Python.
  • Готовность проводить удаленную отладку системы, работая напрямую с оборудованием заказчика через программы удаленного доступа (AnyDesk/TeamViewer). Это необходимо для настройки взаимодействия с физической камерой.

Аппаратное обеспечение заказчика:

Для запуска и отладки системы будет предоставлен ноутбук с видеокартой NVIDIA GeForce RTX 4060.

Что необходимо предоставить в отклике

Пожалуйста, опишите ваш опыт в области компьютерного зрения и приведите примеры реализованных проектов, например:

  • Системы детекции дефектов или брака на производстве.
  • Проекты по подсчету объектов на изображении или видео.
  • Другие кейсы, связанные с классификацией, детекцией объектов или сравнением изображений.

Подробное техническое задание будет отправлено исполнителям, чей опыт соответствует требованиям проекта.