Техническое задание: Автоматизация миграции данных

Цель проекта

Создать автоматизированное решение для извлечения, обработки и загрузки большого объема коммерческих данных из книг продаж в формате Excel в два целевых веб-сервиса.

Исходные данные

• Источник: 36-40 файлов Microsoft Excel (книги продаж).
• Структура данных в файлах включает ключевые поля, такие как:
  • Идентификатор клиента (ИНН)
  • Наименование клиента
  • Сумма и детали покупок
• Тип клиентов: преимущественно подрядчики, но не исключительно.

Основные требования к решению

• Обработка больших объемов: Решение должно эффективно работать с десятками файлов и тысячами записей.
• Извлечение данных: Надежный парсинг структурированной информации из Excel-файлов.
• Интеграция: Автоматическая выгрузка обработанных данных в два указанных веб-сервиса. Предполагается использование их API.
• Надежность и валидация: Механизмы проверки целостности данных и обработки ошибок при передаче.
• Масштабируемость: Архитектура должна позволять легко добавлять новые источники данных или целевые сервисы в будущем.

Ожидаемый результат

Готовый инструмент (скрипт, программа или сервис), который по заданному сценарию выполняет полный цикл: чтение файлов -> обработка и преобразование данных -> загрузка в целевые системы.