Задача

Разработка системы для интеллектуальной обработки текстов на основе нескольких LLM. Проект направлен на:

• извлечение ключевой сути и смысловых связей из текстовых данных;
• смысловую агрегацию и обобщение информации;
• структурирование результатов в удобный для анализа формат.

Основные требования к разработке

• Опыт работы с современными LLM (GPT, LLaMA, Mistral и аналоги);
• Владение методами NLP (семантический анализ, суммаризация, кластеризация);
• Умение оптимизировать время и память при работе с большими текстовыми массивами;
• Навыки развертывания моделей в продуктовой среде (API, брокеры очередей, контейнеризация).

Этапы реализации

1. Формирование пайплайна предобработки текстов (токенизация, очистка, разбиение на чанки).
2. Выбор и адаптация подходящих LLM для каждого этапа (извлечение смысла, агрегация, структурирование).
3. Интеграция моделей в общую инфраструктуру с контролем качества выходных данных.
4. Тестирование и доработка до требуемой точности.