Разработка системы аккумулирования и визуализации данных

Цель проекта

Создание единой платформы для автоматического сбора, обработки и отображения бизнес-данных из разнородных источников.

Ключевые задачи

• Реализация интеграций для подтягивания данных из внешних систем (например, CRM-систем, облачных таблиц, мессенджеров).
• Аккумулирование и структурирование данных в базе данных PostgreSQL.
• Создание информативных дашбордов для анализа и мониторинга.

Текущая техническая задача (первый этап)

Необходимо развернуть и настроить инфраструктуру для будущей системы:

• Orchestration & Pipelines: Установить и настроить Dagster с поддержкой инструментов dlt и dbt для управления данными и пайплайнами.
• База данных: Развернуть PostgreSQL в качестве основного хранилища.
• Визуализация: Установить и настроить Metabase для построения дашбордов и отчетов.
• Инфраструктура: Обеспечить доступ к интерфейсам Dagster и Metabase через nginx в качестве обратного прокси.

Требования к исполнителю

• Опыт разработки на Python.
• Понимание принципов ETL/ELT процессов.
• Опыт работы с указанными или аналогичными технологиями (Dagster, dbt, PostgreSQL).
• Умение работать с Docker и настраивать серверные приложения будет преимуществом.

Детали по интеграциям и бизнес-логике будут обсуждаться дополнительно с выбранным кандидатом.