Техническое задание: Оптимизация AI-бота службы поддержки
Цель проекта
Повысить качество работы виджета-бота (service desk agent) за счет доработки системы RAG (Retrieval-Augmented Generation). Ключевые цели: обеспечить точные ответы, основанные на предоставленных данных, и минимизировать случаи генерации ложной информации (галлюцинаций) языковой моделью.
Основные задачи
- Повышение релевантности: Настроить механизм извлечения информации из RAG так, чтобы бот давал исключительно правильные и соответствующие запросу ответы.
- Борьба с галлюцинациями: Реализовать методы для значительного снижения или полного устранения случаев, когда LLM генерирует информацию, не содержащуюся в базе знаний.
- Стандартизация выдачи: Привести ответы бота к единым форматам в зависимости от наличия информации в RAG.
Требуемые форматы ответов
1. Когда в RAG есть ответ:
- Использовать заданный шаблон ответа, заполнив его конкретной информацией, извлеченной из RAG.
2. Когда в RAG нет ответа:
- Использовать заданный шаблон ответа (с общей информацией внутри) ИЛИ ответ, сгенерированный непосредственно LLM на основе ее знаний, если это допустимо по контексту.
Технический стек и ограничения
- База данных: FAISS для векторного поиска.
- Локальная LLM: Модель, развернутая через Ollama. Учитывайте ограничение видеопамяти GPU до 8 ГБ.
- Сроки: Работа должна быть выполнена до конца выходных.
Ожидаемый результат
Стабильно работающий чат-бот, который четко следует инструкциям по формату ответа, дает релевантные ответы, основанные на предоставленных данных, и практически не допускает галлюцинаций.