Data Engineer
Наша команда инфраструктуры аналитики помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.
В компании много самодостаточных команд. В каждой команде свои сервисы, свои разработчики и аналитики. Так что у нас достаточно потоков данных самого разнообразного формата и объема. Это данные о букингах, на которые смотрит вся компания, и каждая запись проверяется чуть ли не руками, а еще — данные о билетах объемом более терабайта в сутки. Это требует разных подходов с нашей стороны.
Работаем на современном стеке на базе LakeHouse архитектуры: Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte, Apache Airflow, DataHub, Great Expectations.
Нам нужен еще один дата инженер в нашу дружную команду, который в ближайшей перспективе будет сфокусирован на задачах одной из продуктовых команд.
What you will do:
- подключение новых источников и разработка/модернизация data pipelines;
- настройка/поддержка аналитического окружения;
- отправка/обмен данными с внешними и внутренними сервисами;
- участие в принятии архитектурных решений для новой дата платформы;
- модернизация текущей дата платформы вместе с Core командой дата инженеров.
What we expect from you:
- опыт работы инженером данных от 3 лет;
- отличное знание Python, SQL;
- опыт разработки процесса для тестирование данных;
- опыт работы и внедрение дата каталогов будет большим плюсом;
- умение строить высоконагруженные streaming и batch пайплайны;
- опыт работы в нашем стеке Apache Spark, Apache Airflow, Trino будет плюсом;
- опыт работы с Kubernetes, Terraform и с с AWS приветствуется;
- самостоятельность и ответственность, умение коммуницировать с разными командами и людьми;
- желание развиваться и выстраивать процессы вокруг себя.
How we roll:
- в любой точке мира: не привязываемся к локации, платим в долларах, любим путешествовать;
- без бюрократии: удобные процессы здорового человека, горизонтальные и открытые коммуникации, быстрое обсуждение идей и принятие решений;
- компенсируем: ДМС, психотерапию или иностранные языки, занятия спортом и больничный;
- на райском острове: можно работать на Пхукете с видом на океан.
• awesome team • pool parties, terrace parties, everywhere parties! • chill office vibe • snacks of all kinds in the fridge
• awesome team • pool parties, terrace parties, everywhere parties! • chill office vibe • snacks of all kinds in the fridge
Benefits for Aviasales employees
Competitve salaries
We pay what you deserve - not a dollar less
Sports
We partially pay for sports: be it the gym or curling lessons
Language tuition
We’ll help you level up in your target language - c’est très important!
Medical insurance
We take care of you and partially compensate health costs
We cover co-working expenses
Because your workspace is important
Children's education
We'll help you pay for kindergarten and school fees
Distance working
We're cool with you working from home
👀 We also:
Launch rockets into space, test out flamethrowers and hold cat-Tuesday sacred