Администратор Lakehouse

В Kcell мы развиваем платформу данных и готовимся к переходу на архитектуру Lakehouse. В команду ищем опытного инженера, которому интересно развиваться в направлении современных платформ данных и участвовать в развитии новой для компании инфраструктуры.

Главная задача роли — обеспечить стабильную работу и сопровождение Lakehouse: администрировать инфраструктуру и сервисы платформы, следить за их состоянием, оперативно находить причины сбоев и участвовать в дальнейшем развитии платформы.

Чем предстоит заниматься

• администрировать и сопровождать инфраструктуру и сервисы Lakehouse;
• контролировать доступность и производительность платформы;
• настраивать мониторинг, дашборды, алерты и уведомления;
• анализировать системные и прикладные логи, диагностировать и устранять проблемы;
• сопровождать и проводить базовую диагностику Apache Kafka;
• администрировать Linux-серверы и работать с файловыми системами, процессами, правами доступа и сетевыми настройками;
• анализировать нагрузку на CPU, память, диски и сеть;
• автоматизировать операционные задачи с помощью Python и Bash;
• работать с SQL и базами данных в рамках эксплуатации платформы;
• диагностировать сетевое взаимодействие между сервисами;
• участвовать в развертывании, настройке и сопровождении новых компонентов Lakehouse;
• взаимодействовать с командами Data Office и IT при решении технических вопросов и инцидентов.

Что для нас важно

• уверенное администрирование Linux;
• опыт работы с мониторингом инфраструктуры и сервисов;
• хорошее знание Grafana: настройка, источники данных, дашборды, алерты;
• понимание Apache Kafka и ее основных компонентов;
• Python на уровне написания небольших служебных скриптов;
• базовое владение SQL и понимание принципов работы баз данных;
• умение читать системные и прикладные логи и находить причины проблем;
• понимание TCP/IP, DNS, портов, маршрутизации, proxy, load balancer и TLS;
• опыт диагностики и решения проблем в production-среде.

Будет преимуществом

Опыт работы с Docker, Kubernetes, S3-совместимыми хранилищами, Hadoop/HDFS, Apache Airflow, Keycloak, Trino, Apache Iceberg, Git/GitLab CI/CD и PostgreSQL.

Кого мы хотим видеть в команде

Ищем самостоятельного инженера с сильной технической базой, которому интересно развиваться в направлении Lakehouse и Data Platform, глубже погружаться в современные технологии хранения и обработки данных и участвовать в построении и дальнейшем сопровождении платформы.

Если у вас есть хороший опыт администрирования и эксплуатации production-систем, а направление Lakehouse кажется интересным следующим шагом в развитии, откликайтесь. Будем рады познакомиться, подробнее рассказать о проекте и обсудить ваш опыт.