Архитектор пакетной обработки данных (Big Data)

19 ноября 2019573 просмотра
Описание вакансии

Big Data в МТС трансформирует классическое аналитическое хранилище в data lake ведущей технологической компании. Уже сегодня на аналитике Big Data основывается принятие многих стратегических решений в компании. А в перспективе на ней будет базироваться вся экосистема продуктов МТС.

Что вы найдете в команде Big Data?


Стек технологий
: Open source и коммерческие решения в области Big Data.
Продукты:
с 2015 года их более 80: от оценки поведения клиентов до бизнеса. Находятся на разных стадиях - R&D, продуктивизации и продуктива.
Подход:
Agile, Scrum, для управления продуктами и задачами - Confluence и Jira. Все команды автономные, поэтому минимум бюрократии. Гибко меняем задачи в спринте, если понимаем, что это необходимо.
Команда
: нас уже 200, планируем вырасти до 300. Для работы над продуктом собираем команду из разных центров компетенций (их более 14, есть ЦК разработки, ЦК DevOps, ЦК архитектуры и др.)


Что именно вам предстоит делать?

Разрабатывать архитектуру компонентов пакетной обработки загрузки/выгрузки данных в/из Hadoop
Разрабатывать архитектуру оркестрации ETL/ELT процессов
Разрабатывать архитектуру построения data lineage
Разрабатывать архитектуру интеграции с другими компонентами платформы (ETL Framework (Metadata Store), Data Quality Framework и т.д.)
Проектировать процессы CI/CD
Проводить review архитектуры, поддерживать в актуальном состоянии архитектурную документацию
Вырабатывать лучшие практики по использованию компонентов пакетной обработки в ландшафте BigData
Консультировать команды BigData по вариантам реализации их решений с использованием компонентов платформы
Участвовать в пилотировании open source/проприетарных решений

Требования:

Хорошее понимание концептуальных и технологических аспектов BigData и стека Hadoop (HDFS, YARN, Map-Reduce, Spark, Hive)
Хорошее понимание шаблонов пакетной обработки данных (batch ETL/ELT)
Опыт разработки с применением ETL инструментария (Airflow, Informatica BDE, Pentaho DI и др.) от 3 лет
Опыт работы с Hive, Spark от 3 лет
Опыт программирования на Python от 3 лет
Английский язык на уровне pre-intermediate

Плюсом будут:

Опыт проектирования хранилищ данных от 500 Тб
Опыт работы с HDP 3.x
Опыт применения Apache NiFi
Опыт программирования на Scala

Какие задачи?
Аналитика Big Data используется практически во всех функциональных направлениях компании – маркетинг, обслуживание, планирование сети, продажи, HR, розница и коммерческие продукты для корпоративных клиентов. Во внешних проектах Big Data МТС востребована в финансовом скоринге, транспортном планировании, логистике, таргетинге наружной и digital-рекламы, электронной коммерции, ритейле, градостроительных проектах. Наши новые сотрудники будут разрабатывать и продвигать новые digital-продукты МТС.

Бонусы

обучение: Локальные и международные конференции, митапы. Углубленные курсы от производителей ПО. Корпоративный университет МТС. Масштабная виртуальная библиотека.
график: Гибкий, начало работы в промежутке с 8 до 11. Есть возможность работать несколько дней вне офиса (по договоренности). Напряженный период 2 раза в год во время защиты бюджетов компенсируем 3 днями к отпуску.
условия: Каждый месяц - аванс и зарплата, дважды в год - премия. Бонусом – ДМС + стоматология, корпоративная связь, страхование жизни, в т.ч. при выезде за границу, специальные предложения от партнеров и друзей МТС.

Ваш отклик
No content.icon.access denied
Авторизуйтесь
Откликаться на вакансии могут только зарегистрированные пользователи.