Главный дата-инженер

Главный дата-инженер Employment type: Полный рабочий день Grade: Middle Skills: Python, ClickHouse, CI/CD, Apache Kafka, Apache Spark, ETL, Машинное обучение Description: Чем предстоит заниматься: Проектирование и развитие масштабируемой data-инфраструктуры (batch и streaming пайплайны); ClickHouse (MergeTree), S3 Data Lake, Kafka, Airflow (ETL/ELT); Архитектура и реализация витрин данных для аналитики, ML и AI-агентов; Поддержка и написание пайплайнов ETL/ELT (dbt / Airflow / Spark / Kafka / etc.); Оптимизация производительности, стоимость хранения и потребления данных; Внедрение и поддержка стандартов CI/CD и мониторинга пайплайнов; Работа в связке с аналитиками, ML-инженерами, разработчиками и продуктами; Участие в построении feature store, ML-инфраструктуры и поддержке GenAI систем. Ожидания от кандидата: 3+ лет опыта работы с данными в роли Data Engineer; Опыт проектирования data-платформ в продакшене (от ingestion до витрин); Отличное знание SQL, Python (или Scala), опыт работы с Apache Airflow, Spark, Kafka; Опыт построения CI/CD процессов и мониторинга data pipeline’ов; Понимание принципов data governance, data quality и data contracts. Будет плюсом: Знакомство с практиками MLOps и GenAI pipeline’ами (например, RAG, LangChain); Опыт взаимодействия с ML-инженерами: подготовка фич, поддержка feature store; Опыт руководства командой или отдельных проектов как технический лидер. Условия работы: Стабильная работа в одном из крупнейших банков страны; Конкурентная заработная плата, соцпакет; Формат работы - гибрид (4 дня в офисе); Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития); Дружный коллектив единомышленников; Передовой стек технологий, высокопроизводительное оборудование; Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат; Квартальный бонус по результатам работы; ДМС, страхование жизни; Корпоративное обучение.