Разработка DAG для загрузки рыночных данных в Apache Airflow

Необходимо создать надежный и эффективный пайплайн для ежедневного сбора финансовой информации.

Основная задача

Разработать Directed Acyclic Graph (DAG) для платформы Apache Airflow, который будет автоматически загружать, обрабатывать и сохранять данные с биржи.

Ключевые требования

  • Изучить публичное API биржи для получения данных о ценных бумагах и исторических котировках.
  • Спроектировать и реализовать ETL-процесс (Extract, Transform, Load) в рамках Airflow DAG.
  • Обеспечить обработку ошибок и повторные попытки загрузки при сбоях.
  • Реализовать логирование ключевых этапов работы пайплайна.
  • Организовать хранение загруженных данных в удобном формате (например, CSV, база данных).
  • Настроить расписание регулярного выполнения задачи (например, ежедневно после закрытия торговой сессии).

Ожидаемый результат

  • Рабочий DAG-файл для Apache Airflow, готовый к развертыванию.
  • Документация по настройке и запуску пайплайна.
  • Код должен быть читаемым, модульным и сопровождаемым.
дизайн

Фотореалистичная 3D визуализация интерьера квартиры 90 кв. м.

Требуется создать высококачественные 3D-визуализации интерьера апартаментов на основе предоставленных референсов и планов. В работу входит обработка исходной модели и реализация фотореалистичного рендера.