Вакансия в архиве, на неё нельзя откликнуться.

ETL-разработчик

27 февраля 2019679 просмотров
Описание вакансии

Mail.Ru Group – крупнейший IT холдинг в России по дневной мобильной аудитории (по данным Mediascope Web Index Mobile, 12–64, города 700 тыс.+, июль 2017 г ). Холдинг развивает электронную коммерцию (сервис заказа готовой еды Delivery Club, сервис бесплатных объявлений Юла, сервис райдшеринга BeepCar ), лидирующие русскоязычные социальные сети — ВКонтакте, Одноклассники и Мой Мир, портфолио популярных игр, мессенджеры и другие проекты.

Команда DWH агрегирует в себе накопленную экспертизу и лучшие практики холдинга в области построения хранилищ данных и аналитических приложений. Мы превращаем информационный хаос в четко организованную систему, которая позволяет собирать, обрабатывать и анализировать любые объемы данных. В нашей команде убеждены, что системы хранилищ данных должны максимально помогать людям — автоматизировать рутинные задачи, собирать и анализировать сырые данные, подготавливать почву для удобного и аргументированного принятия решений.

Мы ищем ETL-разработчика, готового принять участие в построении аналитического хранилища для одного из e-commerce бизнес-юнитов холдинга. Мы ожидаем, что ETL-разработчик примет активное учатие в построении процессов потребления данных на всех этапах их трансформации от собранных сырых данных до монетизации полученных знаний.

Наш стек технологий включает, но не ограничивается:

  • Database Systems: MySQL, Tarantool, ClickHouse, GreenPlum;
  • Hadoop: Hive, Spark, MapReduce, Kafka, HBase;
  • DataFlow / ETL: Luigi, Airflow, Jenkins;
  • Business Inteligence: Tableau, QlikView, Redash, SuperSet;
  • Continuous Integration: Jenkins, GitLab CI;
  • IssueTracking / KnwoledgeBase : Jira, Confluence;
  • Monitoring: Sentry, Graphite, Grafana, Prometheus, Telegraf.

Обязанности:

  • участие в роли ETL-разработчика в проекте построения системы обработки и хранения разнородной информации одного из e-commerce бизнес-юнитов холдинга;
  • исследование большого объема необработанных данных, накопленных в бизнес-юните, работа с потребителями этих данных, умение слушать и слышать их проблемы, предлагать способы решения и аргументировать их;
  • построение и оптимизация нетривиальных ETL процессов обработки данных, участие в построении процессов потребления данных на всех этапах, их трансформации от появления информации в конкретном бизнес-юните до монетизации полученных знаний;
  • разработка и проектирование OLAP-кубов и витрин для аналитиков, участие в полном цикле построения BI-решений (проектирование, разработка, поддержка, развитие);
  • взаимодействие с командой Data Scientist'ов и совместная реализация стабильного расчета математический моделей;
  • поддержка и модификация созданного решения, ответственность за доступность сервиса для внутренних потребителей и корректность предоставляемых для принятия решений данных.

Требования:

  • не менее двух лет релевантного опыта работы;
  • широкий опыт работы с различными СУБД, глубокое понимание работы как минимум одной из MySql, Tarantool, Clickhouse, GreenPlum, Vertica HP, умение оптимизировать процессы обработки данных
  • опыт организации ETL процессов обработки данных (плюсом будет знание code-driven ETL Luigi, Airflow);
  • опыт разработки на python;
  • опыт работы с классическими BI-системами (Tableau, QlikView) или open-source решениями (Redash, Superset) (плюсом будет умение визуализировать данные).
  • обширные знания в области теории баз данных, SQL на уровне родного языка;
  • ссылки на публичные репозитории, статьи с примерами работы приветствуются.

Бонусы

Работа в Mail.Ru Group ─ это:

  • проекты большого масштаба: соцсети, почтовые сервисы, киберспорт, портал, игры, электронная коммерция ─ в каждом есть возможность делать жизнь миллионов людей лучше;
  • сложные и интересные задачи: высоконагруженные сервисы, которые задают уровень для конкурентов качеством и технологиями; быстрый рост в трендовых направлениях; амбициозные цели перед каждым проектом;
  • оборудование: мощное железо, дополнительные мониторы, специализированные гаджеты ─ все для решения масштабных задач и экспериментов;
  • команда: работа бок о бок со «звездами» IT-индустрии, каждый из которых может поделиться своей экспертизой;
  • профессиональное развитие: прямо в офисе мы организуем митапы, конференции, встречи разработчиков и тестировщиков, семинары и тренинги, куда открыт доступ каждому сотруднику;
  • новый опыт: лучшие сотрудники преподают в наших образовательных проектах, выступают на российских и международных конференциях;
  • офис в 5 минутах от метро, крытый паркинг для всех сотрудников, велопарковка, а летом ─ прокат велосипедов, лонгбордов и самокатов;
  • здоровье и спорт: программа ДМС доступна с первого месяца работы; для поддержания иммунитета круглый год во фреш-баре овощи и фрукты; собственный тренажерный и спортивный зал в офисе.
Ваш отклик
No content.icon.access denied
Вакансия в архиве
Вакансия в архиве, на неё нельзя откликнуться.