MVP Живой узор

Введение

Необходимо разработать прототип (MVP) для проекта по обнаружению и распознаванию вибраций, возникающих при творческой деятельности человека. Главная цель - диалог с ИИ и сбор данных для обучения модели.

1. Frontend: ВКонтакте Mini Apps

Требуется реализовать лаконичное веб-приложение Platform VK:

  • Кнопка загрузки изображения/фото;
  • Текстовое поле для ввода сообщений (диалог);
  • Поддержка голосовых сообщений (отправляемых как аудиофайлы);
  • Кнопка "Мой Узор" - генерация и отображение визуального узора на основе диалога;
  • История диалога в рамках одной сессии (без выгрузки на экран).

2. Серверная инфраструктура

Развернуть виртуальную машину без GPU на базе Ubuntu 22.04 с характеристиками:

  • 2 виртуальных ядра CPU, 4 ГБ RAM;
  • Установленное ПО: Python 3.10+, FastAPI, PostgreSQL, Redis (кэш сессий);
  • Библиотека Whisper (модель tiny/base) для транскрипции аудио;
  • Обеспечение безопасности - HTTPS через nginx и базовая аутентификация по API-ключам.

3. Backend API (FastAPI)

Реализовать четыре основных эндпоинта:

  • /api/chat - основной диалог. Принимает: user_id, message, image, аудио;
  • /api/summarize - сжатие/резюмирование диалога (запускается после 10-го сообщения или по завершении сессии);
  • /api/generate_pattern - звон для создания визуального узора (картинки);
  • /api/admin/match - защищённый админский эндпоинт для сопоставления пользователей.

4. Интеграция с внешними сервисами

Взаимодействие через основные библиотек нейросетевых моделей:

  1. Транскрибация аудиосообщений с помощью Whisper;
  2. Формирование промпта для модели Qwen3-VL-30B с учётом истории диалога;
  3. Отправка запросов к Qwen3-VL-30B и Qwen-Image-2512 для ответа и генерации узора.
  4. ::резервирование сессий, диалогов и сгенерированных образов в базе данных.