Data Engineer (Airflow, ClickHouse)

Technologie, których używamy

O projekcie

Twój zakres obowiązków

• dostosowanie i rozwój DAG-ów w Apache Airflow i ClickHouse
• refaktoryzacja oraz optymalizacja zapytań SQL pod ClickHouse (wydajność, koszty, czas wykonania)
• projektowanie i modyfikacja struktur oraz procesów w obszarze hurtowni danych
• walidacja poprawności danych po migracji (porównania wyników, kontrola kompletności, testy regresji)
• monitoring i utrzymanie procesów ETL (analiza błędów, usprawnienia, automatyzacja)
• aktywne uczestnictwo w ocenie technologii i narzędzi oraz proponowanie najlepszych rozwiązań
• dzielenie się wiedzą w zespole

Nasze wymagania

• minimum rok komercyjnego doświadczenia z ClickHouse oraz Apache Airflow
• znajomość SQL, w tym tworzenie i optymalizacja zapytań
• doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT
• umiejętność analizy i walidacji danych (kontrola kompletności i poprawności wyników po zmianach)
• kreatywność i umiejętność rozwiązywania problemów
• doświadczenie w pracy w projektach prowadzonych metodykami zwinnymi

Mile widziane

• praktyczna znajomość środowisk Big Data (np. Hive)
• doświadczenie w migracji zapytań/procesów między różnymi silnikami analitycznych

To oferujemy

• zatrudnienie na podstawie umowy o pracę lub współpracę B2B
• pracę w modelu hybrydowym lub zdalnym oraz przyjazną przestrzeń biurową
• pracę w firmie o ugruntowanej pozycji rynkowej – u jednego z największych wydawców internetowych w Polsce, będącej częścią największej grupy medialnej w naszym kraju
• pakiet benefitów pozapłacowych (prywatna opieka medyczna, karta sportowa, ubezpieczenie na życie, zniżki na firmowe produkty i usługi, spotkania firmowe)
• niekorporacyjną, swobodną i kreatywną atmosferę – startupowy klimat w połączeniu z możliwościami i stabilnością dużej firmy
• cykliczne spotkania Dev Tank, bo stawiamy na dzielenie się wiedzą i rozwój
• dostęp do szkoleń i konferencji

Benefity