Data Engineer Senior

Data Engineer Senior

B2B.NET S.A.

20160 - 23520 PLN

Hexjobs Insights

Stanowisko: Starszy Inżynier Danych. Odpowiedzialności: projektowanie i budowanie struktur danych, optymalizacja procesów ETL, współpraca z zespołem. Wymagana znajomość GCP i ETL, min. 5 letnie doświadczenie.

Schlüsselwörter

GCP
BigQuery
Apache AirFlow
Python
PySpark
ETL
REST API
Oracle
PostgreSQL
Linux

Vorteile

  • dofinansowanie zajęć sportowych
  • prywatna opieka medyczna

Anforderungen

Co najmniej 5-letniego doświadczenia jako Data Engineer GCP w obszarze procesów integracji danych na GCP:, Bardzo Dobra znajomość baz danych GCP : GCP Big Query, GCP Big Table, Scylla Cloud (projektowanie, budowa i tiuning baz danych), Dobra Znajomość narzędzi ETL Flow na GCP : Apache AirFlow , GCP Data Flow, GCP Data Proc, Korzystanie z kolejek : Kafka, GCP Pub / Sub, Co najmniej 4-letnie doświadczenie jako Developer ETL w obszarze procesów integracji danych na on-prem :, Biegłe posługiwanie się narzędziami ETL na on-prem na poziomie zaawansowanym : Informatic Power Center , ** NIFI, Ekspercka znajomość relacyjne bazy danych Oracle, PostgeSQL , ScyllaDB (projektowanie, budowa i tiuning baz danych), Bardzo dobra znajomość narzędzia harmonogramującego Automate Now firmy Infinity Data, Umiejętność wystawiania usług Rest API, Co najmniej 3-letnie doświadczenie jako programista w językach :, Biegła znajomość Python (w obszarze integracji i analizy danych), i frame work PySpark, Znajomość języka Rust do pisania narzędzi i frame worków wspomagających wydajne ładowanie danych, Z czasem przejęcie odpowiedzialności za wybrany obszar przetwarzania i wystawiania danych pod usługi w wysokim reżimie wydajnościowym, Chociaż podstawowa wiedza w zakresie programowania MicroServices w języku JAVA, Korzystanie z systemu operacyjnego linux na poziomie zaawansowanego użytkownika,, Doświadczenie w pracy z dużymi wolumenami danych ~100TB,, Umiejętności analitycznego myślenia i szybkiego przyswajania wiedzy, Samodzielności i kreatywności w rozwiązywaniu problemów, Terminowości i rzetelności w realizacji projektów, Mile widziana znajomość narzędzi pomocniczych : repozytorium GIT; narzędzi do monitorowania jak np. grafana ; narzędzia do testów wydajności jak Apache JMeter

Vorteile

dofinansowanie zajęć sportowych, prywatna opieka medyczna

Aufrufe: 13
Veröffentlichtvor 21 Tagen
Läuft abin 10 Tagen

Ähnliche Jobs, die für Sie von Interesse sein könnten

Basierend auf "Data Engineer Senior"

Keine Angebote gefunden, versuchen Sie, Ihre Suchkriterien zu ändern.