Москва
Назад
Москва
Ozon Информационные технологии

Data Engineer, Платформа, Хранение и обработка данных

Команда DE-infra занимается разработкой инструмента управления главного двигателя автоматизации в компании Ozon – Airflow, по модели Airflow as a Service, а также разработкой инструмента интеграции данных.

Мы помогаем нашим пользователям разрабатывать пайплайны движения данных и предосталяем им окружение для работы. В процессе работы мы используем практики DevOps, разнообразные инструменты и технологии: Python, Kubernetes, Airflow, Hadoop, Spark, MySQL, PostgreSql, Vertica, ClickHouse, Prometheus, Hive, Kafka, Grafana, Git, Helm.

Наш стек:

• Python
• Vertica, PostgreSQL, ClickHouse, Hive, MS SQL
• PySpark, HDFS
• Airflow (Celery Executor, k8s)
• Gitlab CI/CD, Kubernetes, Helm
• Prometheus, Grafana, S3
• FastApi

Вам предстоит:

  • Разработка сервиса интеграции данных
  • Реализация новых и поддержка существующих интеграций данных
  • Развитие Data Quality
  • Развитие Observability
  • Документирование разрабатываемых решений
  • Проведение code review

Мы ожидаем:

  • Уверенное владение Python
  • Опыт работы с FastApi (или другим web фреймворком)
  • Опыт работы с Hadoop экосистемой (HDFS, PySpark, Hive)
  • Опыт работы с MPP (Vertica)
  • Опыт работы с СУБД (Postgre SQL/MS SQL)
  • Опыт работы с Airflow

Мы предлагаем:

  • Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе сделать лучший продукт на рынке e-commerce
  • Свободу действий в принятии решений
  • Достойный уровень заработной платы
  • Профессиональную команду, которой мы гордимся
  • Возможность развиваться вместе с нашим бизнесом
Рекомендовать друга
Преимущества работы в Ozon
Здоровье, развитие, корпоративные программы, питание и другое