Programista BigData

W ITLT pomagamy naszym zaprzyjaźnionym firmom przekształcać ambitne pomysły w cyfrową rzeczywistość. Z nastawieniem na wyzwania, ciekawość technologii i zwinność - współtworzymy wyjątkowe rozwiązania IT i zapewniamy najlepszych specjalistów - którzy pomagają przyspieszyć cyfrową transformację.Aktualnie poszukujemy kandydatów na stanowisko: Programista BigDataKonkrety:Proponowana stawka: 150 - 160 PLN/h na FV (jesteśmy otwarci na Twoją propozycję)Miejsce pracy/praca zdalna: Zapewniamy dużą swobodę pracy zdalnej, przy czym 1-2 razy w miesiącu zapraszamy do warszawskiego biuraWymiar pracy: FulltimeSektor: Money ServicesProjekt: Projektowanie przetwarzania streaming, batch w środowisku Hadoop i współpraca z zespołem Data Science przy wdrażaniu modeli MLZespół: 8-10 osobowyProces rekrutacji: 1-etapowy (techniczne spotkanie zdalne), sporadycznie może się zdarzyć krótkie dodatkowe spotkanie z Managerem połączone z decyzjąSzacowany czas trwania projektu: Długoterminowo/bezterminowoCzas pracy/Strefa czasowa: Standardowe polskie godziny pracyTechnologie na projekcie: Hadoop Cloudera/Hortonworks, JSON, Parquet, Orc, Avro, Hive, Kudu, HBase, KubeflowDo Twoich głównych obowiązków na tym stanowisku należeć będzie:Projektowanie i implementacja procesów przetwarzania danych (batch i streaming) w ekosystemie Hadoop (Cloudera/Hortonworks)Tworzenie i optymalizacja procesów Spark w Pythonie lub ScaliOpracowywanie i wdrażanie zapytań SQL do analizy i przetwarzania dużych zbiorów danychPrzetwarzanie i integracja danych z różnych źródeł w formatach JSON, PARQUET, ORC, AVROWspółpraca z zespołem Data Science przy wdrażaniu modeli Machine Learning w środowisku Big DataOptymalizacja zapytań i procesów ETL pod kątem wydajności i kosztówZarządzanie i obsługa baz danych (Hive, Kudu, HBase) w środowisku HadoopDbanie o jakość kodu i zgodność z najlepszymi praktykami w zakresie testowania, dokumentowania i wdrażaniaMonitorowanie, debugowanie i rozwiązywanie problemów związanych z przetwarzaniem danychNice to have:Automatyzacja procesów CI/CD w ramach wdrażania kodu i pipeline'ów danychZnajomość Kubeflow i integracja procesów ML w Big DataTworzenie skalowalnych i niezawodnych pipeline'ów przetwarzania danychTa oferta będzie idealna dla Ciebie, jeśli posiadasz:Przynajmniej 2 lata doświadczenia w pracy na podobnym stanowiskuZnajomość koncepcji Big Data, Hurtowni Danych i Zarządzania DanymiZnajomość platformy Hadoop Cloudera/HortonworksPrzynajmniej rok doświadczenia w programowaniu procesów Spark w Python (lub Scala)Dobrą znajomość SQLDoświadczenie z różnymi formatami danych (np. JSON, PARQUET, ORC, AVRO)Wiedzę o typach baz danych i scenariuszach użycia, np. hive, kudu, hbase itp.Doświadczenie w integracji danych z wielu źródeł danychWarto do nas dołączyć, ponieważ oferujemy:Dużą swobodę pracy zdalnejDługofalowe stabilne zatrudnienieSzansę na uczestniczenie w kluczowych projektach dla dużej firmy działającej w bardzo stabilnym sektorzeAtrakcyjne wynagrodzenie (adekwatne do umiejętności i doświadczenia)Benefity (Lux Med, MultiSport...) W razie pytań pisz śmiało na Linkedin'ie do Kuby ;)