Техническое задание: Разработка комплексной парсинг-системы

Основная цель проекта

Создание высоконагруженной, надежной и масштабируемой системы для сбора, обработки и представления данных из множества онлайн-источников.

Ключевые требования и компоненты

1. Источники данных

  • Общее количество источников: от 23 до 27.
  • Характер источников: разнородные, включая сложные для парсинга площадки (например, китайские маркетплейсы).
  • Подход к сбору данных: комбинированный.
    • Приоритет: использование открытых или платных API, где это возможно.
    • Где API недоступны: реализация классического парсинга с обходом защитных механизмов.

2. Функциональные модули системы

  • Ядро парсера: Модуль для стабильного и эффективного сбора данных с учетом специфики каждого источника.
  • AI-компонент: Интеграция искусственного интеллекта для задач очистки, классификации, анализа или обогащения полученных данных.
  • Telegram-бот: Разработка бота для:
    • Управления процессами парсинга (запуск, остановка, настройка).
    • Мониторинга состояния системы и логов.
    • Представления собранных данных и отчетов пользователю.

3. Технические и качественные требования

  • Система должна быть отказоустойчивой и стабильно работать с большим объемом источников.
  • Архитектура должна позволять относительно легко добавлять новые источники данных.
  • Код должен быть чистым, документированным и поддерживаемым.
  • Необходимо предусмотреть обработку ошибок, механизмы повторных попыток и кэширования.

Ожидания от исполнителя

Мы ищем опытного разработчика, чей уровень навыков соответствует сложности поставленной задачи. Готовы рассмотреть предложения с соответствующей ценой для квалифицированных специалистов. Подробное техническое задание будет предоставлено после первичного отклика и обсуждения.

Партнерская программа для IT-специалистов

Веб-студия приглашает дизайнеров, менеджеров и SEO-специалистов к сотрудничеству по партнерской программе. Вы рекомендуете клиентов на разработку сайтов и приложений, а мы выплачиваем процент от стоимости проекта.