Разработка инструмента для парсинга и сопоставления товаров

Необходимо создать надежное программное решение для автоматического мониторинга товарных предложений на рынке.

Основные функции системы

• Планировщик задач: Запуск процесса сбора данных по заранее заданному расписанию (например, ежедневно или еженедельно).
• Парсинг данных: Автоматический сбор информации (наименование товара, цена, наличие) с указанных онлайн-платформ.
• Сопоставление наименований: Разработка алгоритма для автоматического или полуавтоматического сравнения и привязки полученных названий товаров к названиям во внутренней базе данных заказчика. Это может включать обработку синонимов, разных форматов записи и опечаток.
• Структурирование и вывод: Сохранение обработанных данных в удобном формате (например, CSV, JSON, база данных) для последующего анализа.

Технические требования и ожидания

• Инструмент должен работать стабильно и без постоянного ручного вмешательства.
• Алгоритм сопоставления должен минимизировать количество ошибок и ложных срабатываний.
• Желательна возможность гибкой настройки источников для парсинга и параметров сравнения.
• Решение должно быть масштабируемым для добавления новых магазинов-источников.

Исполнителю необходимо предложить оптимальный стек технологий для реализации, архитектуру решения и описать логику работы алгоритма сопоставления.