Техническое задание: Автоматизация миграции данных
Цель проекта
Создать автоматизированное решение для извлечения, обработки и загрузки большого объема коммерческих данных из книг продаж в формате Excel в два целевых веб-сервиса.
Исходные данные
- Источник: 36-40 файлов Microsoft Excel (книги продаж).
- Структура данных в файлах включает ключевые поля, такие как:
- Идентификатор клиента (ИНН)
- Наименование клиента
- Сумма и детали покупок
- Тип клиентов: преимущественно подрядчики, но не исключительно.
Основные требования к решению
- Обработка больших объемов: Решение должно эффективно работать с десятками файлов и тысячами записей.
- Извлечение данных: Надежный парсинг структурированной информации из Excel-файлов.
- Интеграция: Автоматическая выгрузка обработанных данных в два указанных веб-сервиса. Предполагается использование их API.
- Надежность и валидация: Механизмы проверки целостности данных и обработки ошибок при передаче.
- Масштабируемость: Архитектура должна позволять легко добавлять новые источники данных или целевые сервисы в будущем.
Ожидаемый результат
Готовый инструмент (скрипт, программа или сервис), который по заданному сценарию выполняет полный цикл: чтение файлов -> обработка и преобразование данных -> загрузка в целевые системы.