Разработка сайта для продажи рыбной продукции
Требуется создать современный сайт-каталог для рыбной продукции с поддержкой оптовых и розничных продаж. Необходимо реализовать карточки товаров с фотографиями, ценами и фильтрацией по категориям.
Техническое задание: разработка парсера с обходом блокировок
Цель проекта
Создать надежное и автоматизированное решение для сбора данных с двух популярных интернет-ресурсов. Ключевой вызов - преодоление систем защиты от автоматического доступа.
Основные задачи
Задача 1: Работа с API в режиме инкогнито
- Необходимо реализовать обращение к защищенному API-эндпоинту одного из сайтов.
- Основная сложность заключается в получении или генерации корректных cookies для доступа.
- Требуется найти решение, которое позволит либо выполнять запросы без использования cookies, либо полностью автоматически генерировать необходимые куки в каждом сеансе.
- Желательно протестировать подход на запросе к категориям в контексте доставки.
Задача 2: Устойчивость к блокировкам
- Решение должно быть стабильным и обходить стандартные методы обнаружения ботов.
- Алгоритм должен работать в полностью автоматическом режиме без ручного вмешательства.
Требования к решению
- Полная автоматизация процесса.
- Устойчивость к изменениям в защите целевых сайтов.
- Четкая и понятная документация к коду.