Lead Data Platform Engineer

Cтроим платформу для генетических исследований. Представьте: данные, с которыми вы работаете, помогают находить генетические причины онкологии, разрабатывать мРНК-вакцины и создавать тест-системы нового поколения. Не абстрактный продукт, а реальная наука на национальном масштабе. Научный центр на стыке медицины, генетики и IT. Здесь строят единую платформу данных для исследователей: оркестрация многоэтапных пайплайнов, self-service инструменты, мультитенантность, работа с data-intensive нагрузками. Платформы, которая станет фундаментом для геномных исследований на годы вперёд. Ищем инженера, который возьмёт на себя архитектуру и развитие этой платформы. Что предстоит делать: - Проектировать масштабируемую, отказоустойчивую и производительную архитектуру единой платформы данных. - Разрабатывать и сопровождать техническую дорожную карту, синхронизированную с бизнес-целями и потребностями исследователей. - Проектировать и внедрять системы оркестрации многоэтапных пайплайнов обработки данных. - Разрабатывать ключевые компоненты: панель управления, оркестраторы, агенты, API, SDK. - Создавать self-service инструменты, чтобы дата-инженеры и аналитики могли автономно запускать, мониторить и контролировать пайплайны. - Обеспечивать мультитенантность, разграничение доступа и аудит-логирование. - Гарантировать целостность, надёжность и безопасность данных на всех этапах. - Оптимизировать вычислительные и storage-ресурсы: capacity planning, performance benchmarking, устранение узких мест. - Развивать observability: мониторинг, APM, алертинг. - Формировать технические стандарты команды: архитектурные принципы, code review, требования к документации. - Систематизировать процессы разработки и унифицировать технологический стек. Что важно иметь: - Опыт проектирования горизонтально масштабируемых, отказоустойчивых data-intensive систем на bare-metal/VM и/или в Kubernetes. - Понимание архитектурных компромиссов: оркестрация, хранение, доступ, мониторинг, и умение выбирать решение под конкретную нагрузку. - Уверенное владение Python. - Опыт разработки бэкенд-сервисов и API на FastAPI. - Опыт работы с оркестраторами пайплайнов: Airflow, Dagster и аналоги. - Понимание HTC/HPC-систем. - Опыт с распределёнными хранилищами: Ceph (CephFS), S3-совместимые. - Понимание объектного и файлового хранения для data-intensive нагрузок: производительность, масштабируемость, модели доступа. - Опыт построения CI/CD в GitLab (тестирование, сборка, деплой сервисов платформы). - Способность принимать и аргументировать системные архитектурные решения, увязывая надёжность, производительность и стоимость. - Опыт формирования технических стандартов: архитектурные принципы, code review, инженерная документация, практики эксплуатации. Будет плюсом: - Опыт разработки на Go. - Глубокое понимание Kubernetes: рабочие нагрузки, модель операторов, сетевые политики, безопасность. - Опыт с планировщиками типа Slurm. - Опыт с Singularity/Apptainer контейнерами. - Опыт в домене биотехнологий/биоинформатики, позволит быстрее войти в контекст. Условия: - Оформление по ТК РФ. - Достойный уровень ЗП, обсуждается индивидуально по навыкам. - Быстрорастущая, стабильная организация, которой не страшен кризис. - Команда профессионалов на стыке передовых IT и науки. - Только современное оборудование для работы. - Возможности для профессионального роста и обучения. - График 5/2 в офисе в Москве, после испытательного срока возможен гибрид. Здесь вы не просто поддерживаете платформ, вы её создаёте. Процессы и стандарты ещё формируются, и есть возможность реально влиять на архитектуру и технологический стек. А данные, которые проходят через вашу платформу, работают на диагностику и лечение социально значимых заболеваний. Это редкое сочетание: сильная инженерная задача + смысл, который виден невоору