Инженер данных

Требования:

• От 4 лет коммерческого опыта в роли DWH / Data Engineer

• Хранилище, которое вы развивали и меняли, а не только поддерживали в рабочем состоянии

• Витрины данных, доведённые до продакшена и живущие в реальной работе аналитики или BI

• Проектирование

  • Понимаете принципы построения DWH (Kimball / Inmon, star schema, ETL/ELT) и можете обосновать выбор подхода под конкретную задачу, а не следовать шаблону

  • Понимаете различия OLTP- и OLAP-систем и последствия выбора для схемы и профиля нагрузки

  • Умеете декомпозировать размытую бизнес-задачу до модели данных и плана работ

  Технологии

  • SQL на уровне оптимизации: читаете план запроса, находите узкие места, переписываете тяжёлые запросы

  • PostgreSQL / MySQL или другая промышленная РСУБД под нагрузкой

  • Kafka: топики, партиционирование, продюсеры и консьюмеры, поведение при сбоях и повторной обработке

  • Clickhouse: проектирование схем под конкретные паттерны запросов, движки таблиц, партиционирование, materialized views

  • Airflow или другой оркестратор

  • Python на уровне поддерживаемого production-кода

  • Git, Jira

  Будет плюсом:

  • Отвечали за архитектуру хранилища или крупного домена данных целиком, а не за отдельные пайплайны

  • Проводили аудит чужих решений и доводили рефакторинг до результата, а не до списка замечаний

  • Работаете с качеством данных как с отдельной задачей: проверки, SLA на данные, договорённости с владельцами источников

  • Ревьюите код, помогаете расти middle-инженерам

  • Общаетесь с бизнес-заказчиком напрямую: превращаете запрос в требования, оцениваете и защищаете сроки

  • Интеграции с BI-системами: Power BI, Tableau и др.

  • Опыт создания и мониторинга production-сервисов и API на Python, работа со сторонними API

  • Опыт работы в облачных средах (AWS, GCP), понимание облачных сетей и безопасности

• Развивать корпоративное хранилище данных: проектировать слои, схемы, таблицы и представления, оптимизировать структуру хранения

• Разрабатывать и сопровождать витрины данных для аналитики, BI

• Проектировать и разрабатывать процессы загрузки данных из разнородных источников

• Настраивать потоки передачи данных между системами: интеграции, синхронизация, обработка ошибок

• Строить дашборды, алертинг и мониторинг

• Обеспечивать наблюдаемость пайплайнов: контроль качества данных, отслеживание задержек и сбоев загрузок

• Проводить аудит текущих решений, выявлять точки роста

• Профайлинг, оптимизация и рефакторинг существующих решений

• Поддерживать и развивать ETL-инфраструктуру и интеграционное ПО, участвовать в разборе инцидентов

• Собирать и уточнять требования к данным вместе с аналитиками и бизнес-заказчиками

• Участвовать в анализе данных: выявление зависимостей, построение логических связей, подготовка данных для аналитики

• Вести задачи в Jira: оценка, декомпозиция, контроль выполнения

• График работы 5/2, с 09:00 до 18:00;

• Корпоративная мобильная связь;

• Добровольное медицинское страхование;

• Оплата части расходов по фитнесу