Разработка агрегатора данных автомобильных аукционов США

Ключевая задача

Создание профессиональной B2B-платформы для объединения и анализа данных с нескольких крупных американских автомобильных аукционов в единой системе.

Основные функции и требования

1. Интеграция с источниками данных

• Подключение к аукционам через официальные API, партнерские фиды или парсинг.
• Обеспечение стабильного получения больших объемов данных: VIN-номера, фотографии, технические характеристики, статусы лотов, история ставок.
• Опыт работы с системами защиты (обход rate-limits, Cloudflare и аналоги).

2. Архитектура и обработка данных

• Проектирование и построение отказоустойчивых пайплайнов обработки данных.
• Реализация механизмов очередей, cron-задач, повторных попыток (retry) и кеширования.
• Организация хранения миллионов записей в реляционной базе данных.
• Оптимизация работы с изображениями (хранение, обработка, отдача).

3. Поиск и интерфейс

• Настройка высокопроизводительного полнотекстового поиска и сложных фильтров (предпочтительно на базе Elasticsearch/OpenSearch).
• Разработка современного, отзывчивого пользовательского интерфейса с использованием актуальных фронтенд-технологий.

Требуемый технологический стек и опыт

• Backend: Node.js или Python.
• Глубокое понимание REST/GraphQL API.
• Опыт работы с PostgreSQL/MySQL.
• Знание Elasticsearch/OpenSearch будет значительным преимуществом.
• Обязателен опыт создания агрегаторов, маркетплейсов или других высоконагруженных систем.

Пилотный этап проекта

Работа начнется с поэтапной реализации, что позволит оценить подход и качество:

1. Аудит и предложение архитектуры системы.
2. Разработка стратегии интеграции с различными источниками.
3. Полноценная интеграция одного аукциона, включая:
   • Получение и обновление данных.
   • Их обработку и хранение.
   • Реализацию поиска и фильтров.
   • Вывод информации через фронтенд.

После успешного завершения пилота планируется долгосрочное сотрудничество по расширению функционала и подключению новых источников.

Для отклика необходимо указать

• Примеры реализованных аналогичных проектов (скриншоты или ссылки).
• Конкретную роль, которую вы выполняли в этих проектах.
• Используемый технологический стек.
• Предлагаемые сроки и бюджет для реализации пилотного этапа (интеграция одного аукциона).