Москва
Назад
Москва
Ozon Информационные технологии

Инженер Hadoop ops (Devops), Платформа, Хранение и обработка данных

У нас интересно:

  • Большой Hadoop кластер, который вырастет в несколько раз уже в этом году

  • Мы готовимся перейти на мульти-ЦОД архитектуру, обеспечив максимальную надежность и доступность данных, что означает построение новых кластеров

  • Команде предстоит совместно с инженерами Data Science построить полноценный DataLake на Hadoop

  • Мы не сильно обросли legacy, есть возможность определять правила игры, выбирать технологии и подходы

  • Есть широкий спектр задач на выбор — от повседневной эксплуатации до творческих rnd и исследований

  • Мы адепты концепции Everything as Code: минимум ручных действий, максимум автоматизации. Мы используем лучшие практики для построения внутренней экосистемы, позволяющей поддерживать множество проектов красиво и эффективно

Вам предстоит:

  • Строить, развивать и эксплуатировать кластера Hadoop (HDFS/Hive, HBase, HDP, Ambari, Ranger, Spark, Hue, Yarn)

  • Сопровождать и развивать сервисы вокруг Hadoop (Jupyter, Airflow, KVM)

  • Разрабатывать инфраструктурный код для поддерживаемой инфраструктуры (Ansible)

  • Автоматизировать рутинные задачи, разрабатывать и развивать решения “as a Service”

  • Обеспечивать устойчивость инфраструктуры к отказам и катастрофам (HA & DR)

  • Сотрудничать с командой инженеров Data Science (как последняя линия поддержки, "никто кроме вас")

  • Траблшутить и мониторить поддерживаемую инфраструктуру и сервисы

  • Обязательно документировать сервисы

Мы ожидаем:

  • Умение писать и тестировать инфраструктурный код, понимание концепции Infrastructure as Code

  • Понимание принципов, опыт построения отказоустойчивых сервисов и эксплуатации высоконагруженных систем

  • Умение автоматизировать рутинные задачи, деплоймент сервисов и инфраструктуры, разрабатывать инструментарий и писать под них тесты (мы пишем на Python/Go/Bash)

  • Понимание архитектуры, принципов и механизмов работы ОС Linux (управление процессами, файловые системы, сетевой стек) на уровне системного администратора

  • Опыт работы с технологиями виртуализации (оркестрация как плюс)

  • Понимание принципов мониторинга и навыки траблшутинга, как системных, так и прикладных компонентов: какие метрики собирать, куда смотреть при проблемах, какие дашборды для этого нужны (мы используем Prometheus/Grafana).

Будет плюсом:

  • Большой опыт эксплуатации/развития/построения кластеров на технологиях из стека Apache Hadoop
  • Понимание концепции хранилищ данных и ETL-процессов.

Мы предлагаем:

  • Динамичный и быстроразвивающийся бизнес, ресурсы, возможность вместе сделать лучший продукт на рынке e-commerce
  • Свободу действий в принятии решений
  • Достойный уровень заработной платы
  • Профессиональную команду, которой мы гордимся
  • Возможность развиваться вместе с нашим бизнесом

Рекомендовать друга
Преимущества работы в Ozon
Здоровье, развитие, корпоративные программы, питание и другое