Техническое задание: Парсинг данных по ключевым словам
Цель проекта
Разработать решение для автоматизированного сбора и структурирования данных, публикуемых пользователями и системами по заданным ключевым словам.
Источники данных
Сбор информации необходимо организовать из следующих платформ:
- Социальная сеть Instagram (публичные посты, хештеги, метаданные).
- Мессенджер Telegram (публичные каналы, группы, упоминания).
- Поисковая система Яндекс (новости, Яндекс.Дзен, результаты поиска).
Основные требования
- Система должна принимать на вход список ключевых слов/фраз для мониторинга.
- Парсер должен извлекать релевантный контент (текст, ссылки, даты публикации, метрики вовлеченности, где применимо).
- Собранные данные необходимо выводить в структурированном виде (например, CSV, JSON или база данных).
- Решение должно учитывать правила и ограничения использования API каждой платформы (при их использовании).
- Важно обеспечить устойчивость работы к изменениям в интерфейсах источников.
Ожидаемый результат
Готовый инструмент или скрипт, способный по запросу выполнять сбор актуальных данных с указанных источников и предоставлять их в удобном для дальнейшего анализа формате.