W skrócie
- Zadania: Projektuj i rozwijaj skalowalne rozwiązania danych w Microsoft Azure.
- Firma: Clurgo - firma stworzona przez developerów dla developerów.
- Benefity: Praca zdalna, kontrakt B2B, profesjonalny proces rekrutacyjny.
- Pozostałe informacje: Doskonałe możliwości rozwoju kariery w dynamicznym środowisku.
- Dlaczego ta praca: Twórz innowacyjne rozwiązania, które mają znaczenie na całym świecie.
- Kwalifikacje: Minimum 5 lat doświadczenia w Data Engineering oraz znajomość Apache Spark i Python.
Przewidywane wynagrodzenie mieści się w przedziale 60750 - 74250 zł za rok.
Clurgo to firma stworzona przez developerów dla developerów. Nasze zespoły łączą pełne spektrum kompetencji - od rozwoju oprogramowania i infrastruktury, przez analizę oraz testy, aż po strategiczne zarządzanie produktem i procesami. Realizujemy różnorodne projekty IT dla klientów z wielu branż, dbając o dobre praktyki programistyczne i zachowanie work-life balance. Tworzymy rozwiązania, które mają znaczenie - dla firm w Polsce i na całym świecie.
Dołącz do projektu realizowanego we współpracy z firmą technologiczną, w którym będziesz rozwijać skalowalne rozwiązania danych w ekosystemie Microsoft Azure. Będziesz odpowiadać za projektowanie i rozwój pipeline’ów ETL/ELT, przetwarzanie danych w Apache Spark i Azure Databricks oraz rozwój architektury Data Lakehouse. Rola obejmuje również modernizację platform danych, optymalizację wydajności i kosztów oraz zapewnienie jakości, bezpieczeństwa i niezawodności rozwiązań produkcyjnych.
Technologie i narzędzia: Apache Spark, Python, SQL, Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics, Azure Data Explorer, Azure DevOps, Delta Live Tables (DLT), Unity Catalog, CI/CD, Power BI.
Szukamy Ciebie, jeśli:
- masz minimum 5 lat doświadczenia w obszarze Data Engineering i bardzo dobrze znasz Apache Spark oraz Python,
- masz praktyczne doświadczenie w pracy z platformą Microsoft Azure, w szczególności Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics i Azure Data Explorer,
- dobrze znasz SQL i potrafisz projektować oraz optymalizować procesy przetwarzania danych, w tym pipeline’y ETL/ELT,
- masz doświadczenie z Databricks, a także znasz zagadnienia związane z Delta Live Tables (DLT), Unity Catalog i zarządzaniem metadanymi,
- masz doświadczenie z Azure DevOps i CI/CD oraz stosujesz dobre praktyki inżynierskie w projektowaniu, testowaniu i wdrażaniu rozwiązań danych,
- znasz Power BI i rozumiesz potrzeby rozwiązań analitycznych oraz raportowych,
- potrafisz samodzielnie diagnozować problemy produkcyjne, optymalizować wydajność i koszty oraz współpracować z architektami, zespołami platformowymi i interesariuszami biznesowymi,
- posługujesz się językiem angielskim na poziomie C1.
Zadania:
- projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w środowisku Azure, w szczególności z wykorzystaniem Azure Databricks i architektury Data Lakehouse,
- tworzenie i optymalizacja pipeline’ów ETL/ELT służących do pobierania, transformowania i udostępniania danych z różnych obszarów biznesowych,
- rozwój rozwiązań do przetwarzania danych z wykorzystaniem Python, SQL i Apache Spark,
- budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków opartych na metadanych oraz procesów orkiestracji,
- udział w migracji i modernizacji platform danych, w tym wdrażaniu Unity Catalog, aktualizacjach platformy i transformacji rozwiązań,
- współpraca z architektami danych, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne,
- zapewnianie jakości, niezawodności, wydajności i bezpieczeństwa danych oraz diagnozowanie problemów produkcyjnych i analiza ich przyczyn,
- automatyzacja procesów wdrażania z wykorzystaniem CI/CD i Azure DevOps oraz udział w code review i utrzymywaniu standardów inżynierskich,
- optymalizacja pipeline’ów, struktur danych i obciążeń przetwarzania w celu poprawy efektywności i ograniczenia kosztów,
- wspieranie inicjatyw związanych z raportowaniem, analityką i AI/ML poprzez dostarczanie wiarygodnych i skalowalnych fundamentów danych.
Czego możesz się spodziewać: współpraca w oparciu o kontrakt B2B pracy zdalnej profesjonalnego procesu rekrutacyjnego – zawsze otrzymasz od nas feedback niezależnie od decyzji.
Senior Data Engineer in Warsaw – pracodawca: Clurgo Ltd.
Clurgo to doskonały pracodawca, który stawia na rozwój swoich pracowników oraz dba o równowagę między życiem zawodowym a prywatnym. Pracując w Warszawie jako Tech Lead / Architekt Systemowy, będziesz miał możliwość uczestniczenia w innowacyjnych projektach IT, korzystając z nowoczesnych technologii i narzędzi, a także rozwijając swoje umiejętności w dynamicznym zespole. Oferujemy elastyczny model pracy hybrydowej oraz profesjonalne wsparcie w procesie rekrutacyjnym, co czyni nas idealnym miejscem dla ambitnych specjalistów szukających znaczącej kariery.
