Техническое задание: Оптимизация AI-бота службы поддержки

Цель проекта

Повысить качество работы виджета-бота (service desk agent) за счет доработки системы RAG (Retrieval-Augmented Generation). Ключевые цели: обеспечить точные ответы, основанные на предоставленных данных, и минимизировать случаи генерации ложной информации (галлюцинаций) языковой моделью.

Основные задачи

• Повышение релевантности: Настроить механизм извлечения информации из RAG так, чтобы бот давал исключительно правильные и соответствующие запросу ответы.
• Борьба с галлюцинациями: Реализовать методы для значительного снижения или полного устранения случаев, когда LLM генерирует информацию, не содержащуюся в базе знаний.
• Стандартизация выдачи: Привести ответы бота к единым форматам в зависимости от наличия информации в RAG.

Требуемые форматы ответов

1. Когда в RAG есть ответ:

• Использовать заданный шаблон ответа, заполнив его конкретной информацией, извлеченной из RAG.

2. Когда в RAG нет ответа:

• Использовать заданный шаблон ответа (с общей информацией внутри) ИЛИ ответ, сгенерированный непосредственно LLM на основе ее знаний, если это допустимо по контексту.

Технический стек и ограничения

• База данных: FAISS для векторного поиска.
• Локальная LLM: Модель, развернутая через Ollama. Учитывайте ограничение видеопамяти GPU до 8 ГБ.
• Сроки: Работа должна быть выполнена до конца выходных.

Ожидаемый результат

Стабильно работающий чат-бот, который четко следует инструкциям по формату ответа, дает релевантные ответы, основанные на предоставленных данных, и практически не допускает галлюцинаций.