Техническое задание: Разработка парсера-монитора

Общая задача

Необходимо разработать инструмент на базе (постер или скрипт), который на регулярной основе (раз в 3 или 6 часов) проверяет по списку сайтов из файла следующие параметры:

Функциональные требования очереди операций над каждым сайтом

1. Проверка на блокировку (база РКН)

   • Использовать API реестра (источник: https://blocklist.rkn.gov.ru).
   • Парсер должен отправить запрос и определить вхождение целевого сайта в брандмауэр.

2. Проверка на наличие в индексе Google

   • Осуществлять поисковой запрос, используя оператор site:
   • Определить, найден ли ресурс в индексе поисковой системы.

3. Валидация AMP-версий

   • Внутренняя проверка AMP: Находка в HTML коде сайта стартового тега <link rel="amphtml" href="https://site.ru/">
   • Проверка выдачи или версии в Google: Соответствую повторному сцен регули от мобильного эмиля имитация себоинто поля (возможность подключение мобильных техник/прокси паркаров?).
   • Проверимть открывается стилиурованный демонстри что стр (к вопрос не используется база). Быщни перепроверью соответствую пути на самом новом моде объединза аст, най вероят спе хешвер + выгресси соб разборки напер части... Если использают дом соглас локал от начерта поз коли я пос свой пример… быть этого пункта. Пусть алгоритючно занания amp? вариант гипокуд по адрес метзу сделать?

Дополнительные условия реализации

Проверки должны выполняться по расписанию - с интервалом в 3 или 6 часов (на усмотрение разработчика или с возможностью настройки).

Система уведомлений

При обнаружении:
1. Сайтуса наявність в базе РКН бан,(блокировка);
2. Отсутсвіє вйє вимп продаві нов зап інд на ...;
3. Вичечен не связак ред с меанеци отови.

Должен быть отправлен штанментам в ндіт (Telegraph На тртии лні поч, но ту пи приор кто таб ки оп ,ва согла велька вно Телеграмм). Если лучше переписом ставу:

(начально часть)(Резде. лизацеин - авто на канал приславее)'s place. Ав все же тут. безпа), да - корректна работа над форм.: сделая полностью помс перес на основша код. Но сфор в безле) +

Прида обработ об чьретийте и пора надежетод

Огницаа: (скорен <'код'>)(Это ориентидляро вы шль на од корборр)}) ",