Инженер-аналитик BigData

Что нам нужно:

• автоматизация алгоритмов операционного анализа данных, решение высоконагруженных аналитических задач
• автоматизация операционных аналитических задач
• создание, поддержка, оптимизация моделей хранения данных
• разработка и оптимизация алгоритмов операционного анализа данных
• интеграция данных в КСХД
• интеграция BigData решений c сторонними системами
• разработка интерфейсов доступа к данным

Что нам важно:

Опыт работы:

• в Интернет - компаниях; в подразделениях операторских компаний, занимающихся Интернет – бизнесом; в компаниях – разработчиках ПО; в подразделениях компаний, занимающихся построением систем обработки данных
• опыт работы архитектора/разработчика для линейки Big Data от 3 лет
• опыт работы с большими массивами структурированных и не структурированных данных
• опыт работы по построению дизайнов моделей данных
• опыт работы с инструментами визуализации данных
• опыт построения систем машинного обучения (machine learning)
• опыт построения коммерчески успешных сложных моделей поведения целевой аудитории помощью data mining инструментов
• опыт внедрения систем по работе с Big Data

Образование:

• высшее техническое, желательно профильное (вычислительная математика, теория алгоритмов, программирование, прикладная математика, эконометрика, системный анализ и тому подобные специальности)

Скиллы:

• проектирование, запуск и обслуживание систем обработки больших данных
• разработка механизмов обработки потоков данных
• разработка механизмов пакетного анализа данных
• разработка и реализация алгоритмов по классификации, кластеризации, создание прогнозных моделей в режиме операционной аналитики
• знание технических принципов обработки Big data, понимание основных этапов обработки и анализа данных, инструментов и методов, применяемых в этой области
• работа с продуктами линейки Cloudera
• архитектурное понимание MPP систем и реляционных БД
• глубокие знания методов статистического анализа данных, построения математических моделей (нейронные сети, байесовские сети, кластеризация, регрессионный, факторный, дисперсионный и корреляционный анализы и т.п.)
• знание высокоуровневых языков программирования (Python, Scala, Java, в части ETL задач и анализа данных)
• знание языка программирования или дополнительных библиотек для статистической обработки данных и работы с графикой (R Language, Python (Pandas, matplotlib, numpy, scikit-learn, MPLib)
• умение работать с графами
• знание алгоритмов в сфере высоконагруженной обработки данных при помощи распределённых вычислений (MR)
• умение работы с Avro, Parquet форматом данных
• умение работы с распределенным хранилищем HDFS
• знание и умение работы ETL инструментами
• знание и умение работы с AMQP (Kafka, RabbitMQ)
• понимание и умение работы с стеком продуктов: Spark, Spark Streaming, HBase, Impapa, Hive, Solr, Pig, Mahout, Storm, PyData
• умение разрабатывать UDF для различных сред анализа данных
• знание и умение работать с RDBMS, MPP, noSQL баз данных
• знание специфики HTTP протокола и WEB-а в целом
• знание интерфейсов, методов управления разработкой и конфигурациями
• понимание возможностей и специфики HTTP протокола, понимание возможностей сбора и обработки информации из социальных сетей
• знание английского языка на уровне чтения технической документации, на разговорном уровне дополнительный плюс
• отличные аналитические навыки, способность видеть новые пути решения задач

Что мы предлагаем:

• команда: средний возраст - 28. Все парни профессиональны и с бородой :)
• технологии: от front-end до back-end : JavaScript, Ruby, GoLang, Java. Своя аналитика и БигДата
• масштаб: аудитория проектов - 6,5 млн. в месяц
• задачи: интересные и сложные. Отличная возможность для постоянного развития
• ТК РФ: чтим. "Белая» заработная плата (обсуждается индивидуально)
• забота: хороший пакет ДМС и корпоративная связь
• офис: современный, в самом центре – около ст. м. «Новослободская»