Техническое задание: Настройка и дообучение локальной LLM

Основная цель

Необходимо настроить, дообучить и оптимизировать крупную языковую модель (Large Language Model) для её эффективной работы в локальной среде.

Ключевые требования

  • Размер модели: В диапазоне от 7 до 30 миллиардов параметров (7B-30B).
  • Данные: Дообучение будет проводиться на предоставленном заказчиком датасете.
  • Среда выполнения: Модель должна быть подготовлена для оффлайн (локального) использования, без зависимости от облачных сервисов.
  • Оптимизация: Критически важна оптимизация под ограниченные ресурсы видеопамяти (VRAM).
  • Форматы: Модель должна быть сохранена и представлена в современных, эффективных форматах (например, GGUF, GPTQ, AWQ), подходящих для локального запуска.

Ожидаемый результат

Готовая к использованию, оптимизированная модель, которую можно развернуть на локальном оборудовании для выполнения целевых задач.