Scala Developer (Hadoop, ETL)

Scala Developer (Hadoop, ETL) Employment type: Полный рабочий день Grade: Middle Skills: Scala, Apache Hadoop Description: Bell Integrator – крупный системный интегратор страны. Мы являемся аккредитованной ИТ– компанией. На текущий момент с нами работает более 2500 высококлассных аналитиков, руководителей проектов, разработчиков, тестировщиков и специалистов по сопровождению крупных информационных систем. Bell Integrator активно реализует проекты по всей России, среди наших заказчиков – ведущие системообразующие финансовые, телеком и ритейл компании страны. Центральный офис Bell Integrator расположен в Москве, представительства – в Санкт-Петербурге, Нижнем Новгороде, Пензе, Саратове, Уфе, Барнауле, Минске (Беларусь). Проект: Мы, команда, активно развивающая аналитические продукты и сервисы для внутренних пользователей и внешних клиентов Экосистемы банка. В рамках одного из наших направлений мы участвуем в развитии внутреннего продукта – Корпоративное хранилище данных на платформах Hadoop и Greenplum. Данные используются аналитиками Банка для построения управленческой отчетности, моделирования, data science, обеспечения данными различных автоматизированных процессов. Используются данные как внутренних систем банка, так и внешних источников (Единый государственный реестр ЮЛ/ИП, база арбитражных дел, портал госзакупок и т.д.). Используемые инструменты: для накопления и параллельной обработки больших объемов данных – Hadoop, Greenplum для управления потоками ETL – Oozie, Airflow, Nifi, также используются скрипты на Bash для разработки ETL на Hadoop – Scala, Spark, Hive DevOps – Git, Jenkins, SonarQube Мы ожидаем: Опыт работы со Scala и sbt, стеком технологий Hadoop (HDFS, Hive, Spark версии 2 и выше, spark SQL) Чем предстоит заниматься: Разработка ETL потоков на платформе Hadoop (Scala + Spark SQL) Поиск возможностей оптимизации, повышение скорости расчета, эффективности использования вычислительных ресурсов Повышение стабильности работы приложений, анализ типовых ошибок и возможных рисков, развитие системы логирования, её полноты и информативности для последующей промышленной эксплуатации, при необходимости участие в решении возникающих при эксплуатации инцидентов Развитие системы контроля качества, автотестов Условия: Возможность участия в интересном проекте Возможность профессионального и карьерного роста в компании; Опыт работы в команде профессионалов; Уровень заработной платы обсуждается индивидуально. Формат работы - офисный/гибридный в Москве