Data Engineer

Data Engineer Employment type: Полный рабочий день Grade: Senior Skills: Apache Hadoop, ETL Description: Ищем опытного Data Engineer для разработки и развития корпоративного хранилища данных. Специалист будет участвовать в проектировании потоков данных, создании витрин, оптимизации SQL-запросов и развитии архитектуры DWH. 🔧 Задачи: — проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов; — разрабатывать программный код и проводить его тестирование; — реализовывать кастомные трансформации данных; — проектировать и создавать прототипы и витрины данных; — разрабатывать процедуры на языке PL/pgSQL; — проводить анализ производительности существующих систем; — оптимизировать SQL-запросы и структуры баз данных; — участвовать в масштабировании и повышении производительности систем; — развивать архитектуру DWH; — анализировать и выбирать оптимальные технологии, инструменты и методологии; — создавать и актуализировать базу знаний для пользователей хранилища данных; — сопровождать и мониторить информационные системы в своей зоне ответственности. 🧩 Что важно: — знание принципов построения хранилищ данных и архитектуры DWH; — понимание принципов работы MPP-систем; — практический опыт работы с экосистемой Hadoop: • HDFS; • YARN; • Apache Spark; • Apache Kafka; • Apache NiFi; • Sqoop; • Flume; — уверенное знание SQL, включая DDL и DML; — опыт анализа и оптимизации сложных SQL-запросов; — опыт разработки на PL/pgSQL; — практический опыт работы с Greenplum или отличное знание PostgreSQL; — опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter; — понимание процессов проектирования потоков, преобразования и загрузки данных; — опыт сопровождения и мониторинга информационных систем; — навыки ведения проектной и технической документации; — опыт работы с Git, Jira и Confluence. ⭐ Будет преимуществом: — опыт проектирования высоконагруженных хранилищ данных; — опыт масштабирования MPP- и Hadoop-систем; — участие в проектах по развитию крупных корпоративных DWH; — опыт построения сложных ETL/ELT-процессов и витрин данных.