Разработка сайта-агрегатора для поиска мастеров по ремонту техники
Требуется создать веб-платформу для поиска и подбора специалистов по ремонту бытовой и электронной техники. Проект начинается с одного региона с возможностью масштабирования.
Разработка системы аккумулирования и визуализации данных
Цель проекта
Создание единой платформы для автоматического сбора, обработки и отображения бизнес-данных из разнородных источников.
Ключевые задачи
- Реализация интеграций для подтягивания данных из внешних систем (например, CRM-систем, облачных таблиц, мессенджеров).
- Аккумулирование и структурирование данных в базе данных PostgreSQL.
- Создание информативных дашбордов для анализа и мониторинга.
Текущая техническая задача (первый этап)
Необходимо развернуть и настроить инфраструктуру для будущей системы:
- Orchestration & Pipelines: Установить и настроить Dagster с поддержкой инструментов dlt и dbt для управления данными и пайплайнами.
- База данных: Развернуть PostgreSQL в качестве основного хранилища.
- Визуализация: Установить и настроить Metabase для построения дашбордов и отчетов.
- Инфраструктура: Обеспечить доступ к интерфейсам Dagster и Metabase через nginx в качестве обратного прокси.
Требования к исполнителю
- Опыт разработки на Python.
- Понимание принципов ETL/ELT процессов.
- Опыт работы с указанными или аналогичными технологиями (Dagster, dbt, PostgreSQL).
- Умение работать с Docker и настраивать серверные приложения будет преимуществом.
Детали по интеграциям и бизнес-логике будут обсуждаться дополнительно с выбранным кандидатом.