Senior Big Data Infrastructure Engineer

Спасибо! We’re hiring Senior Big Data Infrastructure Engineer 💜 📍 Важно: вакансия международная, кандидатов смотрим ВНЕ РФ и Беларуси. Ссылка для откликов в первом комментарии 💥 Это команда Big Data Platform внутри большой инфраструктурной команды. Мы ищем сеньора, который возьмёт на себя Big Data инфраструктуру международного контура. Здесь не нужно поддерживать legacy: в выборе технологий ориентируемся на рынок, всё устаревшее активно выпиливаем, а вся инфраструктура работает на самых свежих версиях. Сейчас в международном контуре идёт пилот, который сильно меняет то, как используется платформа. Раньше это было небольшое количество очень крупных датасетов, а станет тысячи небольших таблиц и огромное количество мелких файлов в Ozone S3. Параллельно переходим от «общего котла» ресурсов к квотам для каждого бизнес-юнита. Задач много, и во многих из них можно реально повлиять на архитектуру. Работать будешь в паре с инженером, который ведёт такой же стек в соседнем контуре. Обмениваетесь подходами, вместе решаете общие задачи и подстраховываете друг друга. Чем предстоит заниматься: - Деплоить, обновлять и эксплуатировать сервисы Big Data платформы: HDFS, Ozone S3, Iceberg и др. - Поддерживать пилот: перестраивать работу кластера под тысячи мелких таблиц и файлов - Внедрять квоты на вычисления и хранение для бизнес-юнитов: продумать, как их считать и заводить, чтобы потом не утонуть в конфигурациях - Мигрировать с дефолтного Iceberg-каталога на Lakekeeper или Gravitino - Навести порядок в мониторинге и алертинге Что важно: - Опыт проектирования, внедрения и эксплуатации Big Data платформы от 5 лет - Практический опыт с HDFS / Hadoop: деплой, апгрейды, траблшутинг - Опыт самостоятельного деплоя и эксплуатации S3-хранилища. В идеале Ozone, но MinIO и аналоги тоже подойдут - Опыт работы с Apache Iceberg - Английский на уровне чтения технической документации - Возможность работать по московскому времени (разница до 3 часов) Будет большим плюсом: - Опыт с Trino, Kafka или Flink - Опыт с REST-каталогами для Iceberg (Lakekeeper, Gravitino, Polaris и др.) - Опыт работы с AI-инструментами не только на уровне чата: Copilot, агенты, автоматизация своих задач Из приятного 💜 Большая зона ответственности, задачи, в которых можно повлиять на архитектуру, и современный стек без legacy. Можно работать удалённо и по гибкому графику. Ещё есть выстроенный онбординг, корпоративная школа английского, внутренние программы обучения, компенсация внешних курсов и конференций, корпоративные цены на отели и дополнительный оплачиваемый выходной MyTime Day Off.