Архитектор (Big data)

Требуется архитектор/программист для реализации процессов ETL и витрин данных на платформе Hadoop, который сможет совмещать написание кода на Java с проработкой архитектурных вопросов(50/50).

Мы формируем множество витрин из различных внутренних источников, с разными процессами обновления. Есть витрины с историей, в которой часть данных нужно обновить, а старые данные положить в историческую часть.

Реализуем новые витрины и дорабатываем уже разработанные.
Активно работаем над ускорением построения витрин, пробуем новые алгоритмы обновления, партиционирования и переписывает логику самих витрин.

Т.к. витрин много, то мы генерируем потоки под них и устанавливаем их автоматически на пром(реализован Continuous delivery).

Обязанности:

• Разработка новых алгоритмов обновления данных и доработка имеющихся
• Проведение review кода на соответствие архитектуре
• Взаимодействие с другими командами по вопросам интеграции
• Взаимодействие с инфраструктурными командами по вопросам общих сервисов
• Написание кода

Требования:

• Уверенное знание Java
• Знание SQL на хорошем уровне
• Понимание принципов распределённых вычислений(MapReduce)
• Умение описать свои идеи и донести их до коллег
• Английский язык на уровне чтения технической документации
• Желание развиваться в области BigData, Spark
• Коммуникабельность, исполнительность и инициативность
• Опыт ведения архитектуры

Приветствуется:

• Практический опыт в области разработки и проектирования витрин, написания сложных SQL запросов
• Опыт реализации запросов на больших данных(у нас часто используются таблицы 500Гб)
• Опыт работы с Hadoop
• Опыт работы с Spark, Hive
• Знания JIRA, Bitbucket/Git, Confluence
• Опыт работы в команде по методологии Agile

Опыт работы:

• От 1-2 лет опыта работы

Условия:

• Интересные и масштабные задачи, работа в команде профессионалов;
• Возможность обучения и сертификации за счет компании;
• Крупные и уникальные проекты в развивающейся компании;
• Официальное оформление по ТК РФ;
• Рыночный фикс и годовая премия (обсуждается с успешным кандидатом);
• Социальный пакет + ДМС;
• Отсутствие строгого дресс-кода;
• Корпоративная программа лояльности (льготное кредитование, скидки в компаниях-партнерах).