Задача: Технический аудит и оптимизация RAG-платформы

Архитектура и используемые технологии

Проект представляет собой сложную экосистему для интеллектуальной обработки файлов с использованием ИИ:

• Backend Core: Python (FastAPI)
• Кэширование: Redis
• Оркестровка LLM: Внешняя платформа
• Гибридный поиск: Связка векторной и полнотекстовой баз данных
• Обработка данных: Асинхронная обработка файлов через брокер сообщений
• Инфраструктура: Контейнеризация (Docker, Docker Compose)

План работы

1. Глубокий технический аудит

• Рефакторинг существующей кодовой базы
• Проверка и оптимизация связей между основным сервисом, брокером сообщений и системой оркестровки

2. Оптимизация производительности

• Обработка больших очередей файлов (50+ единовременно)
• Устранение проблем с памятью у воркеров
• Настройка политик повторных попыток для отказоустойчивости

3. Повышение точности работы

• Тонкая настройка взаимодействия для улучшения выдачи контекста
• Оптимизация формирования текстовых фрагментов данных

Требования к кандидату

• Понимание архитектуры высоконагруженных систем с очередями сообщений
• Навыки диагностики и решения проблем с производительностью

Условия работы

• Предоставляется доступ к инструменту ИИ для быстрого погружения в код и анализ процессов
• Долгосрочное сотрудничество: специалист сначала проводит аудит и решает критические проблемы, затем переходит к постоянному сопровождению проекта

Пожалуйста, в отклике кратко опишите ваш опыт работы с векторными базами данных и очередями задач.