Техническое задание: Масштабируемый ИИ-парсер для агрегации товаров и услуг

Цель проекта

Разработка высокопроизводительной и масштабируемой системы для автоматического сбора, обработки и публикации информации о товарах и услугах с большого количества внешних веб-ресурсов на наш портал.

Основные функциональные требования

1. Ядро парсинга и масштабируемость

  • Создание парсера, способного работать с базой из более чем 50 000 целевых сайтов.
  • Реализация системы очередей для управления задачами парсинга.
  • Настройка обработки ошибок, логирования всех операций и ротации прокси-серверов для бесперебойной работы.

2. Интеллектуальная обработка данных (ИИ-модуль)

  • Внедрение ИИ/ML-модуля для точного извлечения структурированной информации (название, цена, описание, характеристики, наличие).
  • Настройка интеллектуальной классификации извлеченных товаров и услуг по категориям и разделам нашего портала.

3. Автоматизация обновлений и мониторинг

  • Настройка системы автоматической периодической проверки обновлений на источниках.
  • Выявление изменений: коррекция цен, обновление описаний, изменение статуса наличия товара.

4. Очистка и нормализация данных

  • Реализация процессов дедупликации (объединения дублирующихся предложений).
  • Фильтрация нерелевантных или некачественных данных.
  • Приведение всех извлеченных данных к единому, согласованному формату.

5. Интеграция и выгрузка

  • Подключение и настройка выгрузки обработанных и нормализованных данных через API нашего портала.
  • Обеспечение автоматического размещения данных в соответствующих разделах.

Технические ожидания

Решение должно быть надежным, работать с минимальным вмешательством и эффективно обрабатывать большой объем данных. Архитектура системы должна позволять горизонтальное масштабирование при росте количества источников.

Адаптивная верстка и интеграция дизайна в CMS

Требуется специалист для переноса готового дизайна сайта на систему управления контентом (CMS) с использованием адаптивного шаблона. Работа включает верстку, настройку интерактивных элементов и базового функционала.

Сбор семантического ядра для Яндекс.Директ (персональные песни)

Требуется специалист для сбора и структурирования семантического ядра под сервис создания индивидуальных песен. Необходимо проработать ключевые сегменты, исключить нецелевые запросы и подготовить до 1000 ключевых фраз.