Data engineer (Middle / Lead)

14 января 2019472 просмотра
Описание вакансии

Ищем дата инженера! Работа удаленная. Вилка большая – сильно зависит от вашей квалификации и возможному вкладу в проект:

- верхняя граница – горизонтальный руководитель направления. Полное "закрытие" всех вопросов, связанных с данными в проекте (от сбора до анализа, что-то вы делаете сами, что-то выделяете в подзадачи для других и можете полностью проконтролировать выполнение

- нижняя граница – выполнение поставленных задач (от PM или тех.лида) касающихся, в основном, сбора и обогащения данных + доработки текущей data инфраструктуры

Кто мы

Наш проект занимается составлением планов здорового питания. Компания работает два года, активно расширяемся. Большая часть разработка русскоязычная, но для полноценной работы понадобится знание английского (написать заключение, предложение или объяснить что-то в slack).

Нет никакого формализма и бюрократии, у каждого своя зона ответственности, о формате работы договариваемся так, чтобы было удобно и результативно.

Задач много, еще больше появится в процессе работы.

Задачи data engineering:

low level

  • автоматизация процессов сбора, хранения и анализа данных из различных источников (batch загрузки, выгрузка с API, прием данных/events)
  • автоматизация процессов подготовки данных к отчетам: обработки, «обогащения» и нормализации данных, построение актуальных статистик данных
  • поддержка продукта при изменениях в интерфейсах и форматах данных поставщиков

high level

Общая архитектура ETL и DWH / Data lake проекта – понимание текущих и возможных будущих задач. Контроль инфраструктуры и консистентности данных. Совместная работа с другими командами в проекте (Nutritionists, Marketing, Product, Business/Finances) для максимизации эффективности и полезности данных для них.

    Текущий стек:

    • BigQuery (основное хранилище)
    • Elastic, Postgres (хранилища конкретных приложений проекта)
    • Stitch (часть API подключаем через него)
    • Google Cloud Functions + Java (подключение данных PayPal)

    • Для анализа и отчетов используем –Tableau, Redash, Kibana, + raw SQL / Python

    Текущие ресурсы:

    • DevOps – команда, которая поможет, если нужно настроить CI/CD для какого-то ETL или другого инфраструктурного процесса
    • Application Development – команды разработки основных приложений проекта: серверного API, web воронки продаж и мобильного приложения
    • Google Cloud Projects (вся инфраструктура тут – можем рассмотреть AWS отдельно для данных без проблем)

    Требования:

    • Опыт работы в data engineering от 1 года (оптимально 2-3 года+)
      • проектирование ETL/ELT 
      • проектирование Data Warehouses / Data lakes 
      • работа с различными системами сбора данных: Kafka, Kinesis, Beam, Airflow
      • serverless – AWS Lamba, Google Cloud Functions, Google App Engine, Google Dataflow, Google Dataproc and similar tools
    • Способность и желание быстро разбираться в новых нестандартных задачах
    • Работа с базами данных
    • Английский (читать \ писать в чат \ начальный разговорный)

    Плюсом будет:

    • Опыт работы с компонентами нашего текущего стека
    • Опыт удаленной работы
    • Разговорный английский (fluent)
    • Опыт руководства data engineering отдела в небольшом проекте или отдельной команды\направления в большом проекте

    Преимущества работы у нас:

    В целом, все, что есть у небольшой, быстро растущей компании.

    • отсутствие бюрократии
    • график работы обсуждается, как удобно
    • хорошие перспективы стать одним из основных участников проекта

    Испытательный срок: 2-4 недели.

    Ваш отклик
    No content.icon.access denied
    Авторизуйтесь
    Откликаться на вакансии могут только зарегистрированные пользователи.