Senior DL/LLM engineer (Multimodal: Video + Audio) в GigaChat

Senior DL/LLM engineer (Multimodal: Video + Audio) в GigaChat Grade: Senior Skills: asyncio, deep learning, machine learning, python, pytorch, Data Scientist & Machine Learning Company URL: Description: Мы — core-команда, которая отвечает за ML для понимания аудио во всем Сбере. За последний год мы выложили в open-source SOTA-модель для распознавания речи на русском языке — GigaAM, а прошлой весной первыми в России запустили нативное понимание звука в LLM — GigaChat Audio. Сейчас мы активно улучшаем мультимодальные возможности GigaChat: работаем над качеством на сложных аудио- и визуальных контекстах и учим модель понимать видео не только по звуковому потоку, но и по кадрам. Цель — совместное обучение на vision+audio и video+audio диалогах длительностью 90+ минут. Первый этап отбора на эту вакансию — общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным! Обязанности Проводить эксперименты по обучению Vision / Audio / Video LLM: данные, стадии обучения, способы смешивания модальностей. Оптимизировать ML-инфраструктуру для обучения на длинных мультимодальных контекстах. Формулировать и проверять гипотезы о том, как улучшать качество LLM на видео. Требования Что мы ожидаем Сильный опыт в DL-инженерии, желательно в обучении LLM-моделей. Глубокое знание PyTorch, включая DDP / FSDP. Понимание distributed training и efficient deep learning: DP / TP / PP / EP / SP, mixed precision, checkpointing, offloading, профилирование и оптимизация обучения. Понимание архитектуры LLM: Transformer, attention (MHA / GQA / MLA), RoPE и другие позиционные эмбеддинги, long context, MoE. Уверенный Python на уровне production-кода: asyncio, multiprocessing, профилирование, отладка больших систем. Будет плюсом Опыт обучения мультимодальных LLM. Опыт снижения стоимости контекста при обработке видео. Опыт расширения контекста LLM. Понимание RL-подходов для обучения моделей: RLHF / RLVR, PPO / GRPO / DPO. Опыт построения бенчмарков с использованием LLM-as-a-judge. Условия крупнейшее DS&AI community — более 600 DS-специалистов банка. дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира. возможность быть соавтором НИРов и статей для международных конференций. возможность выбрать удобный формат работы: гибрид или офис. ежегодный пересмотр зарплаты, годовая премия. корпоративный спортзал и зоны отдыха. более 400 образовательных программ СберУниверситета для профессионального и карьерного развития. расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа. ипотека выгоднее до 7% для каждого сотрудника. бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров. вознаграждение за рекомендацию друзей в команду Сбера. 17:["$","$L18",null,{"initialState":{"status":"anonymous"},"children":[["$","$L19",null,{}],["$","main",null,{"children":["$","$L1a",null,{"vacancySlug":"35264-senior-dl-llm-engineer-multimodal-video","initialVacancy":{"published_at":"2026-07-16T06:00:29.884621","is_active":true,"position":"Senior DL/LLM engineer (Multimodal: Video + Audio) в GigaChat","language":"ru","type":"web_and_tg","id":35264,"offer_type":"vacancy","cover_letter_required":false,"cover_letter_placeholder":null,"source":"hh_import","incognito_publication":false,"analytics_id":"kQN6wJQj","salary_description":"","salary_hidden":true,"salary_display_from":null,"salary_display_to":null,"salary_currency":null,"salary_taxes":"gross","salary_is_total":false,"salary_by_our_version":false,"salary_hidden_variant":null,"offer_description":"Что делать: Проводить эксперименты по обучению мультимодальных LLM, оптимизировать ML‑инфраструктуру для обучения на длинных мультимодальных контекстах, формулировать и проверять гипотезы для улучшения качества LLM на видео.\n\nО компании: Сбербанк — крупнейший банк в России, Центральной и Восточной Европе, один из ведущих международных финансовых институтов.","skills_objects":[{"name":"asyncio","slug":null,"is_custom":true},{"name":"deep learning","slug":null,"is_custom":true},{"name":"machine learning","slug":null,"is_custom":true},{"name":"python","slug":null,"is_custom":true},{"name":"pytorch","slug":null,"is_custom":true}],"url":"/vacancies/35264-senior-dl-llm-engineer-multimodal-video","description_html":null,"english_level":null,"location_requirements":[{"location_id":"moscow__mo__russia","format":"office","exclude":false,"ancestors":["moscow","mo__russia","russia","_cu-europe","_cu-emea","_cu-world"],"metros":[],"city":"Москва","country":"Россия"}],"location_items":[{"label":"Москва","format":"office","exclude":false}],"application":null,"viewed":false,"company":{"id":null,"name":"Сбер","logotype":"8f5d6d49-bb76-4250-9aa9-267e36fc5273.png","salary_hidde