Data Engineer

Требования

Инженер по даннымClickHouseSQLPython

Местоположение и тип занятости

Можно удаленно

Компания

Объединяем IT и ретейл, чтобы совершать самые важные покупки было просто — во всех уголках страны

Описание вакансии

О компании и команде

Привет!

Я Миша, Head DWH в Magnit Tech.

Ищу Data Engineer на проект построение и развитие Хранилища Данных.

Основные задачи - развитие существующего фреймворка загрузки сырьевых данных и построения витрин над ними, развитие Дата Каталога, движка Data Quality.

Чем ты будешь заниматься

В первые три месяца:

  • Погрузиться во фреймворки загрузки данных и расчета витрин на основе задач по одному из направлений
  • Освоиться в предметной области данных
  • Проводить code review аналитиков с целью использования ими лучших технических решений и оптимизации производительности

Когда освоишься:

  • Создавать новые паттерны загрузки данных и расчета витрин для дальнейшего переиспользования
  • Развивать модель данных
  • Рефакторить текущие процессы, предлагать лучшие практики работы с данными
  • Самостоятельно вести проекты, нужные бизнесу. Декомпозировать их до понятных технических задач

Ожидания от кандидата

  • Знать особенности MPP систем
  • Уверенно владеть SQL(Оконные функции, партицирование, агрегации, оптимизация запросов, понимание плана запроса)
  • Иметь опыт с Python достаточный для разработки операторов в AirFlow(ООП) и написания пайплайнов данных из различных источников
  • Понимать принципы работы AirFlow(Даги, таски,операторы,сенсоры,хуки,контекст

Будет плюсом

Опыт в GreenPlum и/или ClickHouse(особенно шардированный)

Условия работы

  • очень интересный сложный продукт с большим количеством пользователей
  • формат работы: полная удаленка, при желании – гибрид/офис
  • высокая заработная плата (обсуждается индивидуально - можно повлиять на сумму оффера)
  • оформление в IT-компании, аккредитованной в Министерстве цифрового развития

Смотреть ещё вакансии