Руководитель направления ML Pretrain LLM

Руководитель направления ML Pretrain LLM Grade: Lead Salary: 650000-850000 RUB Skills: AI, Design, LLM, Machine Learning, Market Research, ML, Open Source, Python, PyTorch, Research, Training, Data Scientist & Machine Learning Company URL: Description: Мы развиваем GigaChat и ищем сильного руководителя направления ML pretrain больших языковых моделей. Недавно мы обучили MoE-модель на 700 миллиардов параметров и не собираемся останавливаться — обучение идёт на кластерах H100 и B200, а pretrain является ядром самого быстрорастущего AI-проекта Сбера. Это роль для человека, который возьмёт на себя архитектурную часть pretrain: design-моделей, законы масштабирования, выбор и адаптация attention / MoE / позиционных схем, а также все архитектурные решения, которые определяют, какой именно будет следующая флагманская модель GigaChat. Нам нужен не просто менеджер, а сильный технический руководитель, который способен глубоко погружаться в детали, самостоятельно собирать ключевые части решения и доводить архитектурные идеи до реального роста качества модели на масштабе. Чем предстоит заниматься Развивать архитектуру моделей GigaChat Определять, как должна развиваться архитектура pretrain-моделей: какие направления наиболее важны, как измерять прогресс и что в первую очередь ограничивает рост качества модели. Проектировать архитектуру флагманских моделей и отвечать за ключевые архитектурные решения: attention, позиционные схемы (RoPE и варианты), нормализации, активации, инициализация. Развивать MoE-архитектуру: маршрутизация, балансировка экспертов, устойчивость маршрутизатора, влияние на качество и производительность. Работать с long-context и мультимодальностью на уровне архитектуры: что именно нужно менять в модели, чтобы эти возможности работали стабильно. Изучать и применять законы масштабирования Проводить scaling-эксперименты и на их основе принимать решения по размеру модели, ширине / глубине, числу и размеру экспертов, размерам батча и длительности обучения. Предсказывать, как архитектурные изменения поведут себя при переходе с небольших абляций на полный масштаб. Определять и развивать метрики, которые корректно отражают архитектурные изменения в обучении моделей. Определять, в каких случаях архитектурные изменения действительно дают прирост качества по сравнению с более простыми baseline-ами, а в каких — нет. Анализировать стабильность архитектурных решений Разбираться с нестабильностью на больших прогонах со стороны архитектуры: почему конкретная конфигурация расходится, где проявляются артефакты маршрутизации, коллапс энтропии, неустойчивости в attention. Предлагать изменения в нормализациях, клиппинге, точности вычислений и структуре блоков, которые делают обучение более предсказуемым. Обеспечивать безопасное масштабирование при внедрении крупных архитектурных изменений в основной трейн. Писать ключевой код и оставаться сильным исследователем Самостоятельно писать и дорабатывать архитектурные компоненты и абляции. Делать надёжные и воспроизводимые эксперименты: понятные версии данных, конфиги, сравнение запусков, контроль деградаций. Читать статьи, воспроизводить ключевые результаты и адаптировать лучшие идеи под наши задачи и инфраструктуру. Оставаться сильным инженером и исследователем, а не только руководителем: при необходимости самому разбирать узкие места в коде, экспериментах и настройках обучения. Руководить сильной технической командой Руководить командой исследователей и инженеров, работающих над архитектурой, задавать высокую планку по качеству решений, скорости работы и глубине проработки. Помогать команде превращать архитектурные идеи в работающие решения, которые можно встроить в основной цикл обучения. Удерживать баланс между глубиной исследований, инженерной надёжностью и практическим результатом для модели. Для нас важно Отличное владение Python и PyTorch. Глубокое понимание устройства обучения нейросетей: не на уровне обзоров, а на уровне, где вы можете объяснить, почему конкретная архитектурная конфигурация расходится, глядя на кривые функции потерь, нормы градиентов и энтропии. Глубокое понимание архитектуры LLM: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов, нормализации, инициализации, long-context, MoE. Практический опыт с обучением больших моделей (а не только инференсом) и проведением архитектурных абляций. Способность самостоятельно взять направление и довести его до результата: от чтения статей и постановки гипотез до внедрения в основной трейн. Умение ставить гипотезы, проектировать эксперименты и принимать решения на основе результатов. Опыт руководства сильной технической командой и готовность лично писать важные части системы руками. Будет плюсом Опыт работы с MoE-архитектурами: маршрутизатор, балансировка нагрузки, переполнение, артефакты маршрутизации. Опыт проведения scaling-экспериментов и работы с законами масштабирования. Опыт работы с long-context и мультимодальными расширениями LLM. Опыт работы с distributed training (5D-параллелизм: DP/TP/PP/EP/SP) и large-scale инференсом. Публикации, open-source-вклад или сильный прикладной research track record. Понимание современных open-source стеков для обучения больших языковых моделей. Что предлагаем Сильные и сложные задачи на переднем крае развития русскоязычных LLM. Большую степень влияния на архитектуру решений, методы обучения и качество итоговой модели. Команду сильных инженеров и исследователей. Возможность совмещать управление направлением с глубокой технической работой. Конкурентную компенсацию, премии и расширенный соцпакет. 17:["$","$L18",null,{"initialState":{"status":"anonymous"},"children":[["$","$L19",null,{}],["$","main",null,{"children":["$","$L1a",null,{"vacancySlug":"35042-rukovoditel-napravleniia-ml-pretrain-llm","initialVacancy":{"published_at":"2026-06-30T06:00:35.792947","is_active":true,"position":"Руководитель направления ML Pretrain LLM","language":"ru","type":"web_and_tg","id":35042,"offer_type":"vacancy","cover_letter_required":false,"cover_letter_placeholder":null,"source":"manual","incognito_publication":false,"analytics_id":"KvoaMal0","salary_description":"650 000 —‍ 850 000 ₽/‍мес на руки","salary_hidden":false,"salary_display_from":650000,"salary_display_to":850000,"salary_currency":"RUB","salary_taxes":"net","salary_is_total":false,"salary_by_our_version":false,"salary_hidden_variant":null,"offer_description":"Что делать: Определять направления развития pretrain‑архитектуры, метрики прогресса и ограничения качества, проектировать архитектуру флагманских моделей и принимать ключевые решения по attention, позиционным схемам, нормализациям и инициализации, развивать MoE‑архитектуру и маршрутизацию экспертов.\n\nО компании: Сбербанк — крупнейший банк в России, Центральной и Восточной Европе, один из ведущих международных финансовых институтов.","skills_objects":[{"name":"AI","slug":null,"is_custom":true},{"name":"Design","slug":"design","is_custom":false},{"name":"LLM","slug":"llm","is_custom":false},{"name":"Machine Learning","slug":"machine learning","is_custom":false},{"name":"Market Research","slug":"market research","is_custom":false},{"name":"ML","slug":"ml","is_custom":false},{"name":"Open Source","slug":"open source","is_custom":false},{"name":"Python","slug":"python","is_custom":false},{"name":"PyTorch","slug":"pytorch","is_custom":false},{"name":"Research","slug":"research","is_custom":false},{"name":"Training","slug":"training","is_custom":false}],"url":"/vacancies/35042-rukovoditel-napravleniia-ml-pretrain-llm","description_html":null,"english_level":null,"location_requirements":[{"location_id":"russia","format":"remote","exclude":false,"ancestors":["russia","_cu-europe","_cu-emea","_cu-world"],"metros":[],"city":"","country":"Россия"}],"location_items":[{"label":"Россия","format":"remote","exclude":false}],"application":null,"viewed":false,"company":{"id":null,"name":"Сбер","logotype":"8f5d6d49-bb76-4250-9aa9-267e36fc5273.png","salary_hidden_variant":null,"url":"/companies/GNRXrNQz-sber","industry":"Банки / Финтех","post_to_job_aggregators":true,"investments":"","size":"1001+","short_description":"Сбербанк — крупнейший банк в России, Центральной и Восточной Европе, один из ведущих международных финансовых институтов. Самый дорогой российский бренд и самый сильный банковский бренд в мире по версии Brand Finance. "},"one_day_offer_content":null,"one_day_offer_content_v3":null,"specialization":"Data Scientist & Machine Learning","seniorities":["lead"],"team_size":null,"stack_description":"","short_description":"","description":"$1b","is_form_my_company":null,"is_my":null,"required_years_of_experience":null,"og":{"title":"Вакансия Руководитель направления ML Pretrain LLM, работа в Сбер, удалённо — getmatch","description":"Вакансия Руководитель направления ML Pretrain LLM, работа в компании Сбер, полная удалёнка. Зарплата: 650 000 — 850 000 ₽/мес на руки. Дата публикации: 30.06.2026.","image_url":" Auto","slug":"qa_auto","morphs":{"form_first":"automation QA-инженера","form_second":"automation QA-инженерам","plural":"automation QA-инженеры","form_first_plural":"automation QA тестировщиков","form5":"Automation QA-тестировщиков"},"seo_morphs":{"form1":"QA / Auto","form2":"Automation QA-инженером","form3":"Automation QA-тест