Data Engineer

Мы ищем Data Engineer в команду платформы аналитики. Команда внедряет  инструменты для надежной и простой работы c big data. Используя эти данные, продуктовые аналитики выбирают направления развития нашего сервиса путешествий

Чем предстоит заниматься:
∙Развитием и поддержкой нагруженных и активно использующихся систем продуктовыми командами и аналитиками:
∙Системами сбора данных о действиях пользователей;
∙Механизмом проведения АБ-тестов;
∙Системами отчетности, витрины данных и инфраструктура для BI-инструментов.
Системы которые разрабатывает наша команда, должны справляться с высокими нагрузками, работать с большими объемами данных и гибко масштабироваться.

Про наши системы которые делает наша команда:
Обрабатываем потоки данных объемом ~1ТБ в сутки;
400RPS в среднем;
40+ серверов;
DAU нашего сервиса, с которого собираем данные 1.3 млн.;
Делаем инструменты для 5 продуктовых команд (15+ аналитиков и data scientist, 70+ разработчиков).
Также в составе команды нужно принимать участие в развитии инфраструктуры и инструментов для работы с данными.

Про наш стек технологий:
∙Мы пишем микросервисы, в зависимости от задач и требований используем языки: PHP 7, Python, Node.JS или Java;
∙В нашей работе используем разнообразные базы данных и хранилища данных под задачи: ElasticSearch, Redis, MongoDb, MariaDb, ClickHouse, Exasol и S3;
∙Активно используем очереди сообщений RabbitMQ и Kafka;
∙Приложения упаковываем в docker-контейнеры и запускаем в Kubernetes или на docker-хостах;
∙Мониторинг приложений реализуем с помощью prometheus и grafana.

Кроме основных проектов, над которыми предстоит работать, будет возможность поработать с такими инструментами как:
∙Kafka Connect и Kafka Streams;
∙Airflow;
∙Spark;
∙MetaBase, SuperSet, Kibana и пр. инструменты визуализации;
В этот список регулярно добавляются новые, прогрессивные технологии и программные решения, которые позволяют решать наши задачи продуктивнее.

Какие знание вам помогут в работе:
∙Unix-администрирование
∙Языки программирования (лучше несколько): Python/Php/Go/Java
∙Инструменты batch/streaming обработки данных (Spark, Gobblin, Flink и т.п., лучше несколько)
∙Инструменты мониторинга и визуализации (Prometheus, grafana)
∙Инструменты шедулинга (Airflow)
∙Инструменты хранения данных (MySQL, будет плюсом Elasticsearch, ClickHouse, Exasol)
∙Контейнеры (Docker) и системы оркестрации для них (Kubernetes, OpenShift)
∙Очереди сообщений (Kafka, RabbitMQ)
∙In-memory хранилища (Redis, memcached)
∙Умение описать их достоинства/недостатки, аргументированно выбрать оптимальный набор инструментов под конкретную задачу

Про то, почему мы:
∙Мы развиваем команду и осознанно инвестируем в это деньги и время — конференции, профессиональная литература, обмен опытом внутри компании;
∙У нас удобный офис со всем необходимым рядом с м. Нагатинская, с хорошей библиотекой и собственной кухней, где всегда есть чай-кофе, фрукты-овощи, конфеты-печенья-йогурты и другие вкусности в свободном доступе;
∙Мы платим премии за прочитанные книги по профессиональной тематике;
∙Помогаем с переездом кандидатам из других городов (оплата билетов, проживания в гостинице на время поиска жилья, выплачиваем «релокационный» бонус);
∙Зарплата устанавливается после прохождения собеседования и понимания производительности кандидата в системе: оклад + ежемесячные премии.

Наш подход к собеседованиям:
Нам важно, чтобы всем сотрудникам Туту.ру отлично работалось друг с другом. Мы проводим несколько собеседований, чаще всего в один день, чтобы убедиться, что совместная работа будет долгой и эффективной.

1.Общение с менеджером по персоналу. Во время этой самой первой встречи мы поймем, есть ли у нас шанс оправдать ожидания друг друга.
2.Встреча с tech lead команды. На ней вы сможете понять, достаточно ли профессиональна наша команда и комфортно ли вам с ней будет. Мы, в свою очередь, проверим ваши профессиональные знания и навыки.
3.Разговор с руководителем отдела обо всех тонкостях работы в Туту.ру. Нам нравится только осознанный выбор. Надеемся, и вам тоже.