Техническое задание: Инструмент для интеллектуального сбора данных

Цель проекта

Необходим способ или готовое решение, которое позволяет с помощью технологий искусственного интеллекта автоматически собирать и точно фильтровать информацию с различных веб-сайтов, карт и досок объявлений. Основной фокус - на релевантности данных по заранее заданным гибким параметрам, а не на классическом парсинге.

Ключевые требования

Функциональность

• Универсальность: Инструмент должен работать с разными типами сайтов (маркетплейсы, бизнес-каталоги, доски объявлений) без необходимости написания индивидуальных парсеров.
• Умная фильтрация на базе ИИ: Система должна понимать контекст, анализировать описания, фотографии, отзывы и другие данные на странице.
• Гибкие критерии поиска: Возможность каждый раз задавать уникальные параметры для отбора (например, ценовой диапазон, рейтинг товара, ключевые слова в описании услуги).
• Отсев нерелевантного контента: Инструмент должен минимизировать попадание в результаты информации, не соответствующей запросу (так называемого "мусора").

Ожидаемые сценарии использования

• Поиск товаров на маркетплейсах по заданным характеристикам (цена, рейтинг) с выводом ссылок на подходящие позиции.
• Поиск компаний, оказывающих конкретные услуги в определенном городе, с анализом описаний деятельности для отсева смежных, но нецелевых предложений.

Предполагаемые варианты архитектуры

• Вариант 1: Готовый универсальный инструмент (SaaS-платформа или ПО) с интерфейсом для задания параметров и интеллектуальным движком.
• Вариант 2: Отдельный модуль-«фильтровщик», который получает на вход подготовленный список ссылок и анализирует содержание каждой по заданным критериям.

Важное ограничение

Проект НЕ предполагает разработку классических парсеров, скраперов или программ для обхода сайтов. Нужно решение на уровне анализа и фильтрации уже доступной информации с применением ИИ.