Data Engineer

Коллеги, добрый день! Находимся в поиске дата инженера в команду развития аналитики и Big Data. Работаем по Scrum. На текущий момент перед командой стоят следующие задачи:

Ключевые задачи подразделения:

• Реализация и поддержка ETL процессов по загрузке данных в Data Lake и формированию витрин (стек: Ni-Fi, Hadoop, Postgres, MS SQL);
• Интеграция с внешними и внутренними источниками данных, автоматизация регулярных запросов (стек: Python, Airflow);
• Подготовка ML моделей;

Ближайшие крупные задачи:

• Feature Store;
• Оптимизация архитектуры;
• Резервирование кластера;
• Миграция ETL процедур из Locko-Analytics;

Основные технологии, с которыми необходимо будет работать:

Apache NiFi; Apache Hadoop; Apache Airflow; Apache Spark; Apache Hive; Jupyter Notebook;Microsoft SQL Server; PostgreSQL; RabbitMQ;

Чем предстоит заниматься:

• Совместно с командой разработать концепцию решения и план реализации;
• Подготавливать ETL процессы по регулярной загрузке нужных данных в требуемом формате;
• Настраивать автоматизированные процессы по сбору статистики по предикторам;
• Участвовать в работах по подготовке мониторинга;
• Разрабатывать Feature store для ML моделей банка;
• Разрабатывать и поддерживать компоненты Big Data платформы сбора, обработки и анализа данных;
• Разрабатывать ETL - процессов;
• Построить аналитические витрины данных;
• Построение автоматизированных процессов обеспечения и контроля качества данных;
• Проектировать интеграции данных различных проектов;
• Участвовать в проектировании и развитии архитектуры Big Data платформы;

• Опыт работы от 1 года;
• Опыт разработки на Python;
• Хорошее знания SQL;
• Хорошее знание OS Linux / bash;
• Опыт работы с экосистемой Hadoop и решениями Big Data;
• Опыт работы с базами данных MS SQL, PostgreSQL;
• Опыт работы с Apache NiFi \ Spark \ Airflow \ Hive;
• Большим плюсом будет опыт работы с Feature store;
• Желателен опыт вывода ML моделей в production;

• Оформление по ТК РФ;
• ДМС после испытательного срока;
• Удалённый формат работы;
• Выдаём технику для работы;
• График работы: 5/2 с 9.30-18.30, в пятницу - до 17:30;
• Уровень ЗП обсуждается на собеседовании, исходя из навыков и опыта работы кандидата (оклад + полугодовые премии).