share vacancy with friends
← all vacancies

Team Lead Data Engineer

Remote / Product

Наша команда инфраструктуры аналитики помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.


В компании много самодостаточных команд. В каждой команде свои сервисы, свои разработчики и аналитики. Так что у нас достаточно потоков данных самого разнообразного формата и объема. Это данные о букингах, на которые смотрит вся компания, и каждая запись проверяется чуть ли не руками, а еще — данные о билетах объемом более терабайта в сутки. Это требует разных подходов с нашей стороны.


Сейчас у нас есть повидавший виды Data Warehouse на базе Impala + HDFS на арендованных серверах. Большая часть данных поступает через Кафку. Мы медленно переезжаем на AWS на Trino + S3 + Iceberg (возможно). Еще рядом Spark для специфических задач. Хочется переезжать быстрее. Для этого надо среди прочего наладить работу с текучкой, чтобы она забирала меньше времени.

What you will do:

  • решить часть проблем, связанных с самописным загрузчиком и оркестратором:

    • местами не успеваем как следует вычитывать толстые топики с данными, так что рано или поздно надо переехать на другое решение (может Flink, может Spark Streaming);
  • перенести часть задач на Airflow:

    • сейчас уже понятно, что event-based подход хорошо подходит не для всех задач;
    • у нас cамописный оркестратор, потому что хотелось event-based систему, а не на кроне, а на момент запуска Airflow и Luigi этого не умели;
  • привести в порядок агрегированные таблицы, их стало уже много (cейчас переносим из самописного оркестратора в Airflow и думаем насчет dbt);
  • в Авиасейлс много интересных аналитике действий совершается на клиенте, без общения с серверами:

    • очень много разных событий идет от клиента с использованием snowplow;
    • это отдельный большой пласт работ — как с технической стороны, так и с настройкой процессов;
  • наладить работу текучки, чтобы она забирала меньше времени;
  • оценивать и декомпозировать задачи совместно с командой, контролировать их выполнение, помогать разбираться с проблемами и узкими местами;
  • проводить 1-1, давать регулярную обратную связь и участвовать в перформанс ревью команды;
  • участвовать в найме, проводить собеседования.

What we expect from you:

  • сильный бэкраунд в работе с данными;
  • опыт менеджмента команды от трех человек, возможно, как “играющего тренера“;
  • широкий кругозор в инструментах работы с данными;
  • опыт создания и защиты роудмапов как рутинных задач, так и больших проектов или изменений.

What we offer:

  • сильную команду и возможность влиять как на технологические, так и на продуктовые решения;
  • возможность выбрать, где работать — удаленно или в одном из наших офисов (Пхукет, Москва или Петербург);
  • заботу о здоровье: компенсацию индивидуальной психотерапии, медицинскую страховку для тебя и твоей семьи;
  • поддержку твоих увлечений: компенсацию занятий спортом и изучения иностранных языков.

• awesome team • pool parties, terrace parties, everywhere parties! • chill office vibe • snacks of all kinds in the fridge

• awesome team • pool parties, terrace parties, everywhere parties! • chill office vibe • snacks of all kinds in the fridge

Benefits for Aviasales employees

Competitve salaries

We pay what you deserve - not a dollar less

Sports

We partially pay for sports: be it the gym or curling lessons

Language tuition

We’ll help you level up in your target language - c’est très important!

Medical insurance

We take care of you and partially compensate health costs

We cover co-working expenses

Because your workspace is important

Children's education

We'll help you pay for kindergarten and school fees

Distance working

We're cool with you working from home

👀 We also:

Launch rockets into space, test out flamethrowers and hold cat-Tuesday sacred