Необходимо:

  • Перенести вычислительные нагрузки чат-бота (Rasa, обработка запросов, эмбеддинги) с CPU на GPU.
  • Адаптировать конфигурации docker-compose (добавить образы с поддержкой CUDA, установить драйверы Nvidia Container Toolkit).
  • Учесть оптимизацию работы Qdrant (векторное хранение) в окружении GPU.
  • Убедиться, что Rasa и FastAPI корректно инициализируются на графическом ускорителе.

Требования к исполнению:

  • Опыт работы с GPU (NVIDIA CUDA) в контейнеризированных приложениях.
  • Знание Docker Compose и настройки ресурсов для GPU.
  • Понимание архитектуры Rasa и FastAPI.

Результат: стабильная версия чат-бота, работающая исключительно на GPU (с эффективным распределением памяти).