Техническое задание: Разработка комплексной парсинг-системы

Основная цель проекта

Создание высоконагруженной, надежной и масштабируемой системы для сбора, обработки и представления данных из множества онлайн-источников.

Ключевые требования и компоненты

1. Источники данных

Общее количество источников: от 23 до 27.
Характер источников: разнородные, включая сложные для парсинга площадки (например, китайские маркетплейсы).
Подход к сбору данных: комбинированный.
- Приоритет: использование открытых или платных API, где это возможно.
- Где API недоступны: реализация классического парсинга с обходом защитных механизмов.

2. Функциональные модули системы

Ядро парсера: Модуль для стабильного и эффективного сбора данных с учетом специфики каждого источника.
AI-компонент: Интеграция искусственного интеллекта для задач очистки, классификации, анализа или обогащения полученных данных.
Telegram-бот: Разработка бота для:
- Управления процессами парсинга (запуск, остановка, настройка).
- Мониторинга состояния системы и логов.
- Представления собранных данных и отчетов пользователю.

3. Технические и качественные требования

Система должна быть отказоустойчивой и стабильно работать с большим объемом источников.
Архитектура должна позволять относительно легко добавлять новые источники данных.
Код должен быть чистым, документированным и поддерживаемым.
Необходимо предусмотреть обработку ошибок, механизмы повторных попыток и кэширования.

Ожидания от исполнителя

Мы ищем опытного разработчика, чей уровень навыков соответствует сложности поставленной задачи. Готовы рассмотреть предложения с соответствующей ценой для квалифицированных специалистов. Подробное техническое задание будет предоставлено после первичного отклика и обсуждения.

код