Вакансия в архиве, на неё нельзя откликнуться.

Старший инженер-разработчик Big Data

14 июня 20181047 просмотров
Описание вакансии

Что нужно будет делать:

  • автоматизация процессов сбора, первичной обработки и интеграции данных.

Что нам нужно:

  • автоматизация и поддержка операционных аналитических задач;
  • создание, поддержка, оптимизация моделей хранения данных;
  • разработка и оптимизация алгоритмов анализа данных;
  • интеграция данных в СХД;
  • интеграция Big Data решений c сторонними системами;
  • разработка интерфейсов доступа к данным.

Что нам важно:

  • обязателен опыт администрирования и разработки для продуктов: Apache Spark;
  • опыт интеграции Apache Spark c различными СХД;
  • разработка механизмов обработки потоковых данных;
  • разработка механизмов пакетного анализа данных;
  • опыт работы с большими массивами структурированных и не структурированных данных;
  • знание языков программирования (SQL, Scala, в части ETL задач и анализа данных);
  • архитектурное понимание MPP систем и реляционных БД и опыт работы по построению дизайнов моделей данных;
  • знания алгоритмов в сфере высоконагруженной обработки данных при помощи распределённых вычислений;
  • умение работы с Avro, Parquet форматом данным;
  • знание и умение работы ETL инструментами;
  • знание и умение работы с MQ решениями;
  • знание и умение работать с RDBMS, MPP, noSQL баз данных;
  • знание интерфейсов, методов управления разработкой и конфигурациями.

Было бы отлично:

  • знание английского языка (уровень Intermediate);
  • желателен опыт администрирования и разработки для PyData (настройка, интеграция, оптимизация);
  • желательны знание языка программирования и дополнительных библиотек для статистической обработки данных и работы с графикой (Python, рandas, matplotlib, numpy, scikit-learn, MPLib);
  • понимание возможностей и специфики сбора и обработки информации из социальных сетей и DPI систем;
  • знание специфики HTTP протокола и WEB-а в целом;
  • знания продуктов: HP Vertica, ElasticSearch, Kafka.

Условия:

  • масштаб: аудитория проектов – 7 млн. в месяц;
  • задачи: интересные и сложные. Отличная возможность для постоянного развития;
  • ТК РФ: чтим. «Белая» заработная плата;
  • забота: хороший пакет ДМС и корпоративная связь;
  • офис: современный, в ЦАО – Краснопролетарская улица, около ст. м. Менделеевская, м. Достоевская, м. Новослободская.

Если вакансия Вам интересна, пишите нам: hr@maximatelecom.ru

Ваш отклик
No content.icon.access denied
Вакансия в архиве
Вакансия в архиве, на неё нельзя откликнуться.