Задача

Разработка системы для интеллектуальной обработки текстов на основе нескольких LLM. Проект направлен на:

  • извлечение ключевой сути и смысловых связей из текстовых данных;
  • смысловую агрегацию и обобщение информации;
  • структурирование результатов в удобный для анализа формат.

Основные требования к разработке

  • Опыт работы с современными LLM (GPT, LLaMA, Mistral и аналоги);
  • Владение методами NLP (семантический анализ, суммаризация, кластеризация);
  • Умение оптимизировать время и память при работе с большими текстовыми массивами;
  • Навыки развертывания моделей в продуктовой среде (API, брокеры очередей, контейнеризация).

Этапы реализации

1. Формирование пайплайна предобработки текстов (токенизация, очистка, разбиение на чанки).
2. Выбор и адаптация подходящих LLM для каждого этапа (извлечение смысла, агрегация, структурирование).
3. Интеграция моделей в общую инфраструктуру с контролем качества выходных данных.
4. Тестирование и доработка до требуемой точности.

Автоматизация комментариев в TikTok Live

Требуются боты для захода в прямые эфиры TikTok и написания уникальных, нешаблонных комментариев. Необходима стабильная работа без вылетов, с возможностью дальнейшего сотрудничества.