Техническое задание: Многопоточный парсер данных

Цель проекта

Разработка высокопроизводительной системы для автоматизированного сбора и обработки информации из нескольких веб-источников с использованием многопоточного подхода.

Основные требования

1. Источники данных

  • Система должна работать с 1-3 заранее определёнными поисковыми площадками
  • Реализована поддержка настраиваемых фильтров для каждого источника

2. Архитектура и производительность

  • Обязательная реализация многопоточного режима работы
  • Обеспечение стабильности и отказоустойчивости при обработке потоков данных
  • Оптимизация скорости сбора информации

3. Функциональность

  • Надёжный механизм обхода ограничений источников
  • Структурированное сохранение полученных данных
  • Логирование процесса работы системы