Техническое задание: Парсинг социальных сетей для выявления независимых авторов
Основная цель
Собрать базу данных авторов (писателей), которые в своих профилях или постах в социальных сетях Facebook и/или Instagram размещают ссылки на свои книги на платформе Amazon.
Ключевые задачи
- Парсинг и сбор данных: Автоматизированный поиск и сбор профилей/аккаунтов, в контенте которых присутствуют ссылки на Amazon формата amazon.com/dp/XXXXXXX (например, amazon.com/dp/B0F2F8C7XQ).
- Верификация издателя: Для каждой найденной книги требуется переход по ссылке и проверка параметра "Publisher" на странице товара Amazon. Нас интересуют только книги с пометкой "Independently published".
- Формирование базы: Структурированное сохранение данных об авторах (ссылки на профили, найденные ссылки на книги, подтвержденный статус издателя).
Дополнительные условия и перспективы
- Проект может быть долгосрочным.
- Рассматривается дальнейшее развитие проекта в сторону организации email-рассылки или другого канала коммуникации с собранной аудиторией.
- Все технические детали (объемы, частоту запросов, формат выходных данных) необходимо согласовать с исполнителем.
Требования к реализации
- Решение должно быть устойчивым к изменениям в интерфейсе социальных сетей и Amazon.
- Необходимо обеспечить корректную обработку данных и избежание блокировок.
- Важна четкая структура итоговой базы данных.