Команда Банка Компаньон в поисках кандидата на позицию: Data engineer

Задачи по должности:

• Разработка SQL;

• Проектирование и создание витрин данных (Data Marts);

• Оптимизация SQL-запросов;

• Разработка на Python;

• Разработка и поддержка Python-скриптов для чтения данных из Kafka, используя Debezium для обработки потоковых данных и изменения состояния в реальном времени;

• Создание и поддержка DAGs Airflow, как оркестратора всех процессов;

• Документация процессов и архитектуры;

• Создание и поддержка документации по исследуемым задачам;

• Передача знаний коллегам по лучшим практикам разработки и поддержки DWH.

Наши ожидания от кандидата:

• Высшее образование в области информационных технологий, математики, статистики или смежных дисциплин.

• Опыт работы:

• Разработка хранилища данных (Data Warehouse) и/или баз данных;

• Опыт разработки ETL-процессов.

• Технические навыки:

• Знание SQL на высоком уровне (включая оптимизацию запросов);

• Опыт работы с СУБД, в частности с PostgreSQL, Greenplum, ClickHouse, а также с другими реляционными базами данных;

• Опыт работы с инструментами ETL, такими как Airflow, Talend, Informatica и аналогичные;

• Опыт работы с Debezium и Kafka для организации потоковой передачи данных;

• Знание и опыт работы с Jinja2 для шаблонизации конфигураций и скриптов;

• Опыт работы с системами контроля версий, Git.

• Soft Skills:

• Умение работать в команде и взаимодействовать с аналитиками, бизнес-аналитиками и другими разработчиками;

• Способность к анализу и решению проблем;

• Гибкость, внимательность к деталям, способность к многозадачности и организации рабочего процесса