Задача

Создать конвейер для подключения каталогов внешних поставщиков электронных компонентов через API. Полученные данные необходимо преобразовать в единый каталог и синхронизировать с сайтом, работающим на платформе 1С-Битрикс. Планируется подключить четыре источника: два зарубежных и два отечественных.

Требования к API

Интеграция должна выполняться через REST API поставщиков с использованием прокси для доступа к зарубежным ресурсам.

  • Режим работы: Только получение данных о товарах (каталог) и их характеристик. Операции с заказами, корзинами и личными кабинетами не требуются.
  • Подключаемые источники:
    • Mouser (поиск по ключевых словам, официальная REST документация)
    • Digikey (сервис поиска информации о продуктах, Product Information v4)
    • Promelec (описание по ссылке на внешнем диске)
    • Один из ETM (данные уточняются)

Товары и структура каталога

  • Сбор полной информации по каждому товару: описание, характеристики, фотографии, спецификации.
  • Автоматическая привязка загруженных товаров к текущей, уже существующей на сайте, структуре каталогов.
  • Идентификация товаров на площадке будет выполняться по специальному коду (артикулу/партнамберу).

Работа с остатками и ценами

  • Поставщики и склады: Один товар может поставляться от разных поставщиков. У одного поставщика может быть несколько складов. Цена и остаток закрепляются за конкретным складом.
  • Ценообразование: Зависит от заказываемого количества (ступенчатая шкала): одна цена до 10 единиц, другая от 10 единиц и выше.

Синхронизация

Все товары от разных поставщиков сводятся в единый формат внутри системы, после чего загружаются на сайт (1С-Битрикс) полными пакетами данных, включая остатки и ступенчатые цены. Синхронизация осуществляется на основании уникального кода товара.

Борьба с нежелательной активностью ботов на сайте

Необходимо устранить или минимизировать влияние более 15 000 ежемесячных прямых заходов, идентифицируемых как активность роботов. Эта активность искажает ключевые метрики сайта, такие как глубина просмотра и время нахождения, что негативно сказывается на аналитике. Проблема требует срочного решения.