Техническое задание: Разработка парсера для игровой торговой площадки

Контекст и текущая ситуация

Заказчик располагает рабочим парсером для трейд-версии популярной игровой площадки. Парсер работает на постоянных HTTP-запросах с использованием пула прокси. Основная проблема - недостаточная скорость и низкая стабильность при пиковых нагрузках, как следствие, часть новых появлений предметов в списках пропускается.

Цель работы

Создать новый инструмент или значительно модернизировать существующий, который в приоритете быстро и стабильно определяет появление новый предметов из предопределенного списка.

Ключевые требования

• Скорость: Время реакции на изменение списка предметов должно быть минимизировано.
• Стабильность: Отсутствие ложных срабатываний (false positive) и пропусков (false negative).
• Отслеживание: Анализ списка на предмет только свежепоявившихся позиций.
• Инфраструктура: Поддержка ротации прокси или более умных методов снижения нагрузки.

Предпочтения по техническому стеку

Кандидат должен разбираться во внутренней архитектуре биржи (trend) - ее чем-либо типографии, и апи эндпоинтов. Рассматриваются предложения по оптимизации (aiohttp, asyncio, WebSocket или иные технологии).

Что нужно предоставить Кандидату

• Четкое описание предлагаемого метода работы.
• Оценка ожидаемой производительности (тайминги / кол-во запросов в сек).
• Примерный пулл технологий.

Бюджет и контакты

Бюджет обсуждаемый. Заказ открыт для адекватных предложений с конкретикой.