Data Engineer, Логистика, Картографические сервисы

• Apache Hadoop/PySpark - как основная вычислительная платформа, используем Python/Scala UDF/UDAF для разгрузки тяжелых шагов.
• Основной интрумент работы с геометией: Apache Sedona (аналогично SimpleFeatures/PostGIS/GDAL)
• HDFS/S3/PostGres/ClickHouse/Vertica/ElasticSearch - хранение данных
• Apache AirFlow — dataflow
• JupyterLab как средство отладки и разработки для Spark

• Написание с помощью python data-pipelines, запускаемые на apache airflow, которые при помощи Apache Spark очищают, нормализуют и преобразуют гео-данные

• Опыт работы на позиции Data engineer от 3-х лет
• Опыт работы с Apache AirFlow, Python, Apache Hadoop

Мы предлагаем:

• Динамично и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе лучший продукт на рынке e-commerce;
• Свободу действий в принятии решений;
• Достойный уровень заработной платы;
• Профессиональную команду, которой мы гордимся;
• Возможность развиваться вместе с нашим бизнесом.