Создание структурированной таблицы товаров в Excel
Требуется разработать удобную и функциональную таблицу Excel для учета товаров интернет-магазина. Необходимо продумать логичную структуру и набор полей для эффективного ведения базы.
Разработка DAG для загрузки рыночных данных в Apache Airflow
Необходимо создать надежный и эффективный пайплайн для ежедневного сбора финансовой информации.
Основная задача
Разработать Directed Acyclic Graph (DAG) для платформы Apache Airflow, который будет автоматически загружать, обрабатывать и сохранять данные с биржи.
Ключевые требования
- Изучить публичное API биржи для получения данных о ценных бумагах и исторических котировках.
- Спроектировать и реализовать ETL-процесс (Extract, Transform, Load) в рамках Airflow DAG.
- Обеспечить обработку ошибок и повторные попытки загрузки при сбоях.
- Реализовать логирование ключевых этапов работы пайплайна.
- Организовать хранение загруженных данных в удобном формате (например, CSV, база данных).
- Настроить расписание регулярного выполнения задачи (например, ежедневно после закрытия торговой сессии).
Ожидаемый результат
- Рабочий DAG-файл для Apache Airflow, готовый к развертыванию.
- Документация по настройке и запуску пайплайна.
- Код должен быть читаемым, модульным и сопровождаемым.