Data Engineer

Data Engineer Employment type: Полный рабочий день Grade: Senior Skills: Apache Hadoop, ETL Description: Ищем опытного Data Engineer для разработки и развития корпоративного хранилища данных. Специалист будет участвовать в проектировании потоков данных, создании витрин, оптимизации SQL-запросов и развитии архитектуры DWH. 🔧 Задачи: проектировать и разрабатывать потоки данных с использованием ETL/ELT-инструментов; разрабатывать программный код и проводить его тестирование; реализовывать кастомные трансформации данных; проектировать и создавать прототипы и витрины данных; разрабатывать процедуры на языке PL/pgSQL; проводить анализ производительности существующих систем; оптимизировать SQL-запросы и структуры баз данных; участвовать в масштабировании и повышении производительности систем; развивать архитектуру DWH; анализировать и выбирать оптимальные технологии, инструменты и методологии; создавать и актуализировать базу знаний для пользователей хранилища данных; сопровождать и мониторить информационные системы в своей зоне ответственности. 🧩 Что важно: знание принципов построения хранилищ данных и архитектуры DWH; понимание принципов работы MPP-систем; практический опыт работы с экосистемой Hadoop: HDFS; YARN; Apache Spark; Apache Kafka; Apache NiFi; Sqoop; Flume; уверенное знание SQL, включая DDL и DML; опыт анализа и оптимизации сложных SQL-запросов; опыт разработки на PL/pgSQL; практический опыт работы с Greenplum или отличное знание PostgreSQL; опыт работы с ETL-инструментами SAS Data Integration Studio и/или Informatica PowerCenter; понимание процессов проектирования потоков, преобразования и загрузки данных; опыт сопровождения и мониторинга информационных систем; навыки ведения проектной и технической документации; опыт работы с Git, Jira и Confluence. ⭐ Будет преимуществом: опыт проектирования высоконагруженных хранилищ данных; опыт масштабирования MPP- и Hadoop-систем; участие в проектах по развитию крупных корпоративных DWH; опыт построения сложных ETL/ELT-процессов и витрин данных.