Техническое задание: Парсер данных транспортных сервисов
Необходимо разработать программное решение для автоматизированного сбора и последующей обработки информации с публичных онлайн-платформ, предоставляющих данные о движении транспорта.
Основные цели проекта
- Создание стабильного парсера для извлечения данных с целевых веб-ресурсов (в частности, сервисов отслеживания воздушных и морских судов).
- Реализация механизмов фильтрации и очистки собранных данных согласно заданным критериям.
- Организация вывода структурированной информации в удобном для дальнейшего использования формате.
Ключевые требования
- Парсер должен быть надежным и работать с учетом возможных ограничений со стороны источников данных (обход антибот-систем, уважение к robots.txt, корректное управление запросами).
- В системе должна быть предусмотрена гибкая настройка параметров фильтрации (по типу транспорта, географическому району, временным промежуткам и другим характеристикам).
- Решение должно быть масштабируемым и сопровождаемым.
Детали реализации
Конкретные технические нюансы, включая выбор стека технологий, частоту обновления данных, формат вывода и архитектуру, будут согласованы с выбранным исполнителем в ходе личной переписки.