Задача
Необходимо проанализировать логи парсинга, чтобы найти причину, по которой часть целевых записей не сохраняется в базе данных. Проблема носит регулярный характер и повторяется с заметной частотой.
Что нужно сделать
- Изучить логи парсинга за последние сессии (файлы логов прилагаются или доступны по ссылке).
- Установить, на каком этапе и почему теряются данные: ошибки сети, некорректный формат ответа, тайм-ауты, блокировки или ошибки в скрипте.
- Предложить и реализовать исправление логики парсинга для предотвращения потерь в будущем.
- Протестировать исправленную версию на тестовых данных (предоставим выборку).
Требования к исполнителю
- Опыт парсинга и работы с логами.
- Умение работать с языком Python (обязательно) и базами данных (SQLite/PostgreSQL).
- Готовность предоставить отчет о найденных проблемах и решениях.
Результат работы
Исправленный скрипт с подробными комментариями в коде, краткий текстовый отчет с анализом логов, а также пример лога до и после исправления.