Про команду:
Мы, команда Platform, состоящая из специалистов DevOps и Data Engineer. Мы специализируемся на обслуживании серверов, управлении базами данных и обработке данных.
Про роль:
Роль дата-инженера включает в себя сбор, хранение, обработку и анализ данных. Они разрабатывают процессы сбора данных из различных источников, создают и поддерживают системы хранения данных, обрабатывают данные для подготовки их к анализу, оптимизируют процессы работы с данными, обеспечивают безопасность данных и сотрудничают с аналитиками и data science для использования данных в бизнес-решениях.
Вам предстоит:
- Поддерживать и улучшать хранилище данных на Clickhouse;
- Интегрировать новые источники данных в хранилище (Data Warehouse);
- Поддерживать real-time поток данных на Apache Kafka и Kafka Connect;
- Поддерживать существующие и создавать новые конвейеры (пайплайны) в Apache Airflow;
- Строить витрины данных для команды аналитики;
- Автоматизировать процессы отчетности.
Мы ожидаем от вас:
- Понимание архитектуры и принципов построения Data Warehouse;
- Уверенное владение Apache Airflow;
- Умение разрабатывать ETL-процессы с нуля;
- Опыт работы с PostgreSQL;
- Базовые знания алгоритмов Data Science;
- Понимание основ аналитики данных;
- Опыт работы с системой контроля версий Git.
Плюсом будет:
- Знания Docker и Kubernets (werf, helm);
- Опыт работы с инфраструктурой AWS;
- Умение работать с Apache Spark;
- Опыт использования Python-библиотек SciKit Learn, Pandas.
Почему мы?
— Культура, где можно расти и чувствовать себя комфортно;
— График 5/2 с 9.00 до 18.00;
— Бесплатное обучение: IT-конференции, митапы, хакатоны и курсы за счёт компании;
— Насыщенная корпоративная жизнь: спортивные марафоны, креативные мастер классы, настольные игры и многое другое;
— Скидки на абонементы в различные спортзалы;
— 28 отпускных дней в году;
— Комфортабельный офис с комнатами для отдыха (Ташкент Сити).