Разработка B2B-агрегатора данных автомобильных аукционов США

Требуется создание масштабируемой и надежной B2B-платформы, которая будет выступать единым источником данных для множества крупных автомобильных аукционов на территории США.

Основные цели проекта

• Создание единой платформы для доступа к данным нескольких ведущих автоаукционов.
• Обеспечение актуальности и полноты информации по автомобилям.
• Построение отказоустойчивой и производительной системы для работы с большими данными.

Ключевые технические задачи

1. Интеграция с источниками данных

• Реализация подключений к платформам через официальные API (где доступно).
• Настройка приема и обработки партнерских фидов (данных в структурированных форматах).
• Разработка механизмов парсинга (сбора данных) для источников, где иные способы недоступны.

2. Работа с данными

• Регулярный сбор и обновление больших объемов информации: идентификаторы (VIN), фотографии, технические характеристики, текущий статус лотов, история ставок.
• Обеспечение целостности и валидации поступающих данных.

3. Архитектура и бэкенд

• Проектирование и построение пайплайнов (конвейеров) обработки данных.
• Внедрение систем очередей задач для асинхронной обработки.
• Настройка cron-заданий для регулярного обновления информации.
• Реализация механизмов повторных попыток (retry) при сбоях в получении данных.
• Внедрение стратегий кеширования для повышения производительности.

4. Хранение данных

• Проектирование базы данных, способной эффективно хранить и индексировать миллионы записей об автомобилях и их характеристиках.
• Обеспечение быстрого поиска и фильтрации по хранимым данным.

Требования к исполнителю

• Опыт работы с высоконагруженными системами и большими объемами данных.
• Глубокие знания в области backend-разработки, проектирования API и баз данных.
• Понимание принципов работы с очередями, фоновыми задачами и кешированием.
• Опыт интеграции со сторонними сервисами через различные протоколы (REST API, парсинг и т.д.).