Разработка внутреннего ИИ-агента для обработки контента

Назначение сервиса

Сервис предназначен для помощи в работе с контентом сайтов компании. Он обрабатывает большие объёмы текстов, которые не помещаются в лимиты одного запроса OpenAI, и автоматически разбивает их на части.

Как это работает

Пользователь загружает файлы или вводит текст. Сервис разбивает текст на части, обрабатывает каждую часть через OpenAI API, собирает результаты в единый текст и возвращает готовый результат.

Функциональные требования

• Загрузка файлов и текстов
• Автоматический чанкинг больших текстов
• Очередь задач
• Статусы задач: в очереди, в обработке, готово, ошибка, черновик, публикация
• Обработка нескольких задач одновременно
• Контроль лимитов OpenAI API (ограничение запросов, управление затратами)
• Сохранение результатов обработки на сервере
• Получение результата через API или скачиванием файла
• Логирование ошибок для отладки
• Бэкенд, взаимодействующий с OpenAI API
• Интерфейс (веб или API) для загрузки текстов и получения результатов

Технические требования

• Развёртывание на VPS (собственный сервер)
• Backend: Python (FastAPI) или Node.js (обсуждается)
• Работа напрямую с OpenAI API, без использования веб-интерфейса openai.com
• Безопасное хранение API-ключей (использовать переменные окружения или защищённое хранилище)
• Документация по запуску и использованию

Ожидаемый результат

• Рабочий сервис на VPS
• Возможность загружать файлы и получать готовый текст
• API или простой веб-интерфейс для работы
• Инструкция по использованию