Техническое задание: Адаптация парсера данных

Контекст проблемы

Существует рабочий парсер, который длительное время успешно собирал открытые данные через API с внешнего веб-ресурса. В прошлом месяце процесс сбора новой информации прекратился. Предварительная диагностика показала следующее:

  • На стороне хостинга и в логах самого парсера критических ошибок не обнаружено.
  • Код парсера в последнее время не изменялся.
  • Вероятная причина - изменения в структуре или логике работы API на стороне источника данных («донора»).

Задача для разработчика

Необходимо провести анализ текущего состояния API источника данных, выявить внесенные изменения и адаптировать под них существующий код парсера для восстановления его работоспособности.

Ключевые этапы работы

  • Анализ текущего ответа API и сравнение с предыдущей (рабочей) структурой данных.
  • Выявление изменений в эндпоинтах, формате запроса/ответа (JSON/XML), структуре полей или аутентификации.
  • Внесение необходимых правок в логику парсера: обработку запросов, разбор данных, их валидацию и сохранение.
  • Тестирование обновленного парсера на корректность сбора и обработки как исторических, так и новых данных.
  • Обеспечение стабильной работы обновленного решения.