Москва
Назад
Москва
Ozon Информационные технологии

Инженер devops, Hadoop / Эксплуатация

Почему у нас интересно:

  • У нас большой Hadoop кластер, который вырастет в несколько раз уже в этом году.
  • Мы готовимся перейти на мульти-ЦОД архитектуру, обеспечив максимальную надежность и доступность данных, что означает построение новых кластеров.
  • Команде Hadoop инженеров совместно и инженерами Data Science предстоит построить полноценный Data Lake на Hadoop.
  • Мы не сильно обросли legacy, есть возможность определять правила игры, выбирать технологии и подходы.
  • Есть широкий спектр задач под выбор — начиная от способа сетапа и управления кластером, заканчивая определение подходов работы с кластером.
  • Мы — адепты концепции Everything as Code: минимум ручных действий, максимум автоматизации. Мы используем лучшие практики для построения внутренней экосистемы, позволяющей поддерживать множество проектов красиво и эффективно.

Вам предстоит:

  • Построение, развитие и эксплуатация кластеров Hadoop (HDFS/Hive, HBase, HDP, Ambari, Ranger, Spark, Hue, Yarn)
  • Сопровождать и развивать сервисы вокруг Hadoop (Jupyter, Airflow, KVM)
  • Разработка инфраструктурного кода для поддерживаемой инфраструктуры (Ansible)
  • Автоматизация рутинных задач, разработка и развитие решений “as a Service”
  • Обеспечение устойчивости инфраструктуры к отказам и катастрофам (HA & DR)
  • Взаимодействие с командой инженеров Data Science, как 3 линия поддержки
  • Траблшутинг и мониторинг поддерживаемой инфраструктуры и сервисов
  • Документирование сервисов

Мы ожидаем от вас:

  • Большой опыт эксплуатации/развития/построения кластеров на технологиях из стека Apache Hadoop.
  • Понимание концепции хранилищ данных и ETL-процессов.
  • Умение писать и тестировать инфраструктурный код, понимание концепции Infrastructure as Code.
  • Понимание принципов, опыт построения отказоустойчивых сервисов и эксплуатации высоконагруженных систем.
  • Умение автоматизировать рутинные задачи, деплоймент сервисов и инфраструктуры, разрабатывать инструментарий и писать под них тесты (мы пишем на Python/Go/Bash).
  • Понимание архитектуры, принципов и механизмов работы ОС Linux (управление процессами, файловые системы, сетевой стек) на уровне системного администратора.
  • Опыт работы с технологиями виртуализации (оркестрация как плюс).
  • Понимание принципов мониторинга и навыки траблшутинга, как системных, так и прикладных компонентов: какие метрики собирать, куда смотреть при проблемах, какие дашборды для этого нужны (мы используем Prometheus/Grafana).

Рекомендовать друга