Техническое задание: Автоматизация переноса данных AWS Athena → S3

Необходимо настроить надежный и автоматизированный процесс ежедневного переноса данных из партнерской платформы, доступ к которой предоставлен через AWS Athena (с использованием IAM-роли / AssumeRole), в наш собственный S3-бакет.

Основные задачи

• Разработать и автоматизировать выполнение SQL-запросов к таблицам в AWS Athena по предоставленному списку.
• Обеспечить ежедневный запуск процесса и стабильную выгрузку результатов.
• Организовать сохранение выгруженных данных в нашем S3 в заданной структуре (raw layer).

Требования к реализации

• Решение должно быть отказоустойчивым и требовать минимального обслуживания.
• Необходимо предусмотреть логирование и обработку ошибок.
• Структура папок и файлов в S3 должна быть четко организована (например, по датам и названиям таблиц).
• Доступ к данным партнера уже настроен через механизм AssumeRole, с которым необходимо интегрироваться.

Ожидаемый результат

Готовый пайплайн в AWS (например, с использованием Step Functions, Lambda и EventBridge), который без вмешательства человека ежедневно собирает данные из Athena и помещает их в целевой S3-бакет в сыром виде для дальнейшей обработки.