Цель проекта
Разработать инструмент для поиска и сбора данных о представителях гастрономической индустрии. Требуется находить и систематизировать информацию о следующих типах бизнеса:
- Частные повара и выездные шефы
- Домашние производства полуфабрикатов
- Кейтеринговые компании
- Кулинарные мастер-классы
- Фуд-туры
Основные требования к сбору данных
Для каждого найденного объекта необходимо собрать ссылку на сайт или профиль, по-возможности извлечь:
- Адрес электронной почты
- Возраст домена
- Оценку трафика
- Данные из социальных сетей (возраст аккаунта и количество подписчиков)
География и языки поиска
- Страны: Италия, Турция, Испания
- Языки запросов: Русский, Английский, Локальные языки (итальянский, турецкий, испанский)
Источники для парсинга
- Веб-сайты - поисковые системы (через API), прямой обход целевых доменов.
- Facebook - сбор публичных данных.
- Instagram - использование Graph API (для бизнес/творческих аккаунтов), поиск по ключевым словам, хэштегам и геолокациям.
- Доски объявлений - аналоги сервиса Avito для указанных стран.
- TripAdvisor - поиск кулинарных предложений.