Data Engineer

Technologie, których używamy

O projekcie

Twój zakres obowiązków

Nasze wymagania

• Posiadasz minimum pięcioletnie doświadczenie jako Data Engineer GCP, obejmujące projektowanie i realizację procesów integracji danych w środowisku Google Cloud.
• Bardzo dobrze znasz bazy danych GCP, takie jak BigQuery, Bigtable czy Scylla Cloud, w szczególności w zakresie projektowania, tworzenia i optymalizacji ich działania.
• Dobrze orientujesz się w narzędziach ETL działających na GCP, m.in. Apache Airflow, Dataflow oraz Dataproc.
• Potrafisz pracować z systemami kolejkowymi, takimi jak Kafka czy Pub/Sub w GCP.
• Masz co najmniej czteroletnią praktykę w roli ETL Developera tworzącego procesy integracji danych w środowiskach on‑premises.
• Biegle posługujesz się narzędziami ETL on‑prem, w tym Informatica PowerCenter oraz NIFI, na poziomie zaawansowanym.
• Posiadasz ekspercką znajomość relacyjnych baz danych Oracle, PostgreSQL i ScyllaDB, obejmującą ich projektowanie, budowę oraz optymalizację.
• Bardzo dobrze znasz system harmonogramowania AutomateNow firmy Infinity Data.
• Potrafisz tworzyć i wystawiać usługi REST API.
• Masz minimum trzy lata doświadczenia w programowaniu.
• Bardzo dobrze znasz Pythona w obszarach integracji i analizy danych, a także posługujesz się frameworkiem PySpark.
• Posiadasz znajomość języka Rust, wykorzystywanego do tworzenia narzędzi i frameworków umożliwiających wydajne ładowanie danych.
• Docelowo przejmiesz odpowiedzialność za wybrane obszary przetwarzania i udostępniania danych, szczególnie w środowiskach wymagających wysokiej wydajności.

Mile widziane

• Podstawowe umiejętności w zakresie tworzenia mikroserwisów w języku Java.
• Swobodne korzystanie z systemu Linux na poziomie zaawansowanego użytkownika.
• Doświadczenie w pracy z bardzo dużymi zbiorami danych, sięgającymi około 100 TB.
• Zamiłowanie do analitycznego myślenia oraz szybkie przyswajanie nowych zagadnień.
• Samodzielność i kreatywność w poszukiwaniu oraz wdrażaniu rozwiązań.
• Wysoka rzetelność i terminowość podczas realizacji powierzonych zadań.
• Znajomość narzędzi wspierających pracę, takich jak repozytoria GIT, systemy monitorujące (np. Grafana) czy narzędzia do testowania wydajności, np. Apache JMeter.

Tak organizujemy naszą pracę

Tak pracujemy

Tak pracujemy nad projektem

Takie dajemy możliwości rozwoju

To oferujemy

• Pracę na kontrakcie B2B.
• Prezenty na różne okazje.
• Wydarzenia firmowe.

Benefity