Data Engineer

Требования к кандидату на позицию Data Engineer (DWH)

Основные задачи

• Разработка и сопровождение ETL/ELT-процессов
• Интеграция данных из различных источников
• Разработка и поддержка витрин данных и DWH
• Оптимизация SQL-запросов и производительности пайплайнов
• Мониторинг качества и корректности загрузок данных

Обязательные требования

Базы данных

• Практический опыт работы с:
  • Oracle Database
  • PostgreSQL
• Уверенное знание SQL:
  • сложные JOIN
  • оконные функции
  • CTE
  • оптимизация запросов
  • аналитические функции
• Понимание принципов построения DWH:
  • Star Schema
  • Snowflake Schema
  • основы Data Vault

ETL / Оркестрация

• Опыт работы с Apache Airflow:
  • разработка и поддержка DAG
  • настройка зависимостей
  • мониторинг задач
• Опыт разработки ETL/ELT-процессов

Разработка

• Хорошее знание Python:
  • работа с данными
  • автоматизация процессов
  • интеграция с API
  • обработка файлов (CSV, JSON, XML)
• Опыт работы с Git

Будет плюсом

• Опыт работы с:
  • Kafka
  • Greenplum
• Знание Linux
• Опыт контейнеризации (Docker)
• Понимание CI/CD процессов
• Опыт работы с большими объемами данных

Ожидаемые компетенции

• Внимательность к качеству данных
• Аналитическое мышление
• Умение разбираться в сложных интеграциях
• Самостоятельность в решении технических задач
• Навыки командной работы

Требования по опыту

Middle Data Engineer

• Опыт работы от 2 лет
• Опыт промышленной разработки ETL-процессов
• Хорошее знание SQL и Python

Senior Data Engineer

• Опыт работы от 4–5 лет
• Опыт проектирования DWH и сложных пайплайнов
• Опыт оптимизации производительности и архитектурных решений
• Наставничество младших инженеров