share vacancy with friends
← all vacancies

Data Engineer

Remote / Travelpayouts

Travelpayouts от Авиасейлс — платформа по автоматизации партнерского маркетинга в тревел. Мы помогаем брендам найти своих клиентов, а владельцам тревел-площадок эффективно монетизировать свой трафик.

Мы уже многого достигли: стали крупнейшим игроком на рынке партнерского маркетинга в сфере онлайн-тревела в России, сейчас развиваемся на международном рынке (Северная Америка и Европа).

Наша команда дата инженеров помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.

Ищем дата инженера в команду аналитики Travelpayouts. Тебе предстоит плотно взаимодействовать с командой аналитики и разработки Travelpayouts, но также работать вместе с core командой дата инженеров Aviasales.

Стек:

  • мы используем Apache Impala на базе Apache Hadoop для хранения и обработки данных.
    Основные источники данных – Kafka, БД и разные APIs. Используем самописный оркестратор и фреймворк на базе Python для работы с загрузкой и трансформации данных.
  • идет миграция на новую платформу на базе LakeHouse архитектуры - Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte.
  • тестирование и сборка производятся на CI сервере (Jenkins). Деплой в Kubernetes. Настройкой серверов и разворачиванием баз мы не занимаемся. Это делает отдельная команда инфраструктуры.

What you will do:

  • поддерживать работоспособность аналитики:

    • подключать новые источники и разрабатывать/модернизировать data pipelines;
    • настраивать отправку/обмен данными с внешними и внутренними сервисами;
    • работать над качеством данных;
    • настраивать/поддерживать аналитическое окружение;
  • модернизировать текущую дата платформу вместе с Core командой дата инженеров;
  • участвовать в принятии архитектурных решений для новой дата платформы.

What we expect from you:

  • опыт работы инженером данных от 3 лет;
  • отличное знание Python, SQL;
  • умение строить streaming и batch пайплайны;
  • опыт работы c Apache Spark, Apache Airflow, Trino будет большим плюсом;
  • опыт работы с Kubernetes, Terraform будет плюсом;
  • опыт работы с AWS приветствуется;
  • самостоятельность и ответственность;
  • умение коммуницировать с разными командами;
  • желание развиваться и выстраивать процессы вокруг себя.

How we roll:

  • в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
  • без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
  • компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
  • на райском острове: можно работать на Пхукете с видом на океан.

• awesome team • pool parties, terrace parties, everywhere parties! • chill office vibe • snacks of all kinds in the fridge

• awesome team • pool parties, terrace parties, everywhere parties! • chill office vibe • snacks of all kinds in the fridge

Benefits for Aviasales employees

Competitve salaries

We pay what you deserve - not a dollar less

Sports

We partially pay for sports: be it the gym or curling lessons

Language tuition

We’ll help you level up in your target language - c’est très important!

Medical insurance

We take care of you and partially compensate health costs

We cover co-working expenses

Because your workspace is important

Children's education

We'll help you pay for kindergarten and school fees

Distance working

We're cool with you working from home

👀 We also:

Launch rockets into space, test out flamethrowers and hold cat-Tuesday sacred