W skrócie
- Zadania: Twórz niezawodne strumieniowe potoki danych na Kafka i modele raportowania w Snowflake.
- Firma: Innowacyjna firma technologiczna z dynamiczną kulturą pracy.
- Benefity: Konkurencyjne wynagrodzenie, elastyczny grafik, ubezpieczenie zdrowotne i możliwości rozwoju zawodowego.
- Pozostałe informacje: Świetne możliwości rozwoju kariery w dynamicznym środowisku.
- Dlaczego ta praca: Pracuj nad nowatorskimi projektami i kształtuj nowy zespół od podstaw.
- Kwalifikacje: Doświadczenie w inżynierii danych oraz umiejętności współpracy w zespole.
Przewidywane wynagrodzenie mieści się w przedziale 63000 - 77000 zł za rok.
Poszukujemy Starszego Inżyniera Danych (Kafka & Snowflake), który dołączy do nowo tworzonego zespołu ds. raportowania regulacyjnego w globalnej firmie technologii płatniczych. W tej roli będziesz pracować z małą grupą inżynierów oraz zespołem klienta, aby budować niezawodne potoki danych na Kafka oraz modele raportowania w Snowflake, zapewniając, że dane za raportami regulacyjnymi są dokładne, audytowalne i zgodne, a także pomagając definiować, jak zespół pracuje i jak jego architektura kształtuje się od samego początku.
Obowiązki
- Potoki Streamingowe: Projektowanie i budowanie przepływów danych opartych na Kafka z użyciem Kafka Streams i/lub Kafka Connect, wybierając odpowiednie gwarancje dostawy.
- Odporne Przetwarzanie Zdarzeń: Implementacja obsługi błędów z powtórzeniami, kolejkami martwych wiadomości i ponownym przetwarzaniem, zachowanie porządku wiadomości oraz zarządzanie ewolucją schematu przez Schema Registry z Avro lub Protobuf.
- Raportowanie Danych w Snowflake: Modelowanie faktów, wymiarów i SCD dla raportowania regulacyjnego oraz budowanie pobierania i przetwarzania z użyciem Streams & Tasks, Snowpipe i Time Travel.
- Dokładność Danych i Rekonsyliacja: Implementacja rekonsyliacji, walidacji i deduplikacji, aby każda zgłoszona liczba mogła być zaufana i śledzona.
- Wydajność i Monitorowanie: Monitorowanie i dostosowywanie opóźnienia konsumentów oraz przepustowości, a także optymalizacja zapytań Snowflake przez plany wykonania, klucze klastrowania, przycinanie i rozmiar magazynu.
- Kształtowanie Nowego Zespołu: Pomoc w definiowaniu procesów i architektury od podstaw w nowo utworzonym zespole.
Wymagania
- Doświadczenie komercyjne jako inżynier danych lub oprogramowania w budowaniu produkcyjnych potoków danych i streamingowych.
- Ekspertyza w Kafka: Silna znajomość architektury Kafka (tematy, partycje, grupy konsumentów, offsety, replikacja), gwarancje dostawy, Kafka Streams i/lub Kafka Connect oraz Schema Registry z Avro lub Protobuf.
- Zaawansowane SQL w Snowflake: Złożone zapytania z funkcjami okienkowymi, CTE, agregacjami i dużymi połączeniami, plus praktyczne doświadczenie w optymalizacji zapytań.
- Platforma Snowflake: Praktyczne doświadczenie z Streams & Tasks, Snowpipe i Time Travel.
- Modelowanie Danych Raportowych i Jakość: Doświadczenie w modelowaniu danych do raportowania (fakty, wymiary, SCD) oraz implementacji rekonsyliacji, walidacji i deduplikacji.
- Własność i Komunikacja: Niezależny i proaktywny, komfortowy w nowo utworzonym zespole, z dobrą komunikacją w języku angielskim.
Miło widziane
- Apache Flink: Doświadczenie z API DataStream lub Flink SQL, przetwarzanie stanowe, punkt kontrolny, czas zdarzeń, znaczniki czasu i okna.
- Ecosystem Java: Java 11/17+, Spring Boot i Spring Kafka, z testowaniem w JUnit, Mockito i Testcontainers.
- Platforma i Dostawa: Kubernetes (wdrożenia, Helm, skalowanie), CI/CD, Git i doświadczenie w chmurze.
- Raportowanie Regulacyjne i Finansowe: Doświadczenie w raportowaniu bankowym lub płatniczym oraz solidne zrozumienie wymagań dotyczących audytowalności danych, linii i dokładności.
Oferujemy
- Możliwość pracy nad nowatorskimi projektami.
- Pracę z wysoko zmotywowanym i oddanym zespołem.
- Konkurencyjne wynagrodzenie.
- Elastyczny grafik.
- Pakiet benefitów - ubezpieczenie zdrowotne, sport.
- Firmowe wydarzenia społeczne.
- Możliwości rozwoju zawodowego.
- Dobrze wyposażone biuro.
O nas
Grid Dynamics (NASDAQ: GDYN) jest wiodącym dostawcą usług doradztwa technologicznego, inżynierii platform i produktów, AI oraz zaawansowanej analityki. Łącząc wizję techniczną z umiejętnościami biznesowymi, rozwiązujemy najważniejsze wyzwania techniczne i umożliwiamy pozytywne wyniki biznesowe dla przedsiębiorstw przechodzących transformację biznesową. Kluczowym wyróżnikiem Grid Dynamics jest nasze 8-letnie doświadczenie i przywództwo w dziedzinie AI dla przedsiębiorstw, wspierane przez głęboką wiedzę i ciągłe inwestycje w dane, analitykę, chmurę i DevOps, modernizację aplikacji oraz doświadczenie klienta. Założona w 2006 roku, Grid Dynamics ma siedzibę w Dolinie Krzemowej z biurami w Amerykach, Europie i Indiach.
Senior Data Engineer in Gdańsk – pracodawca: Grid Dynamics
Grid Dynamics w Warszawie to doskonały pracodawca, który oferuje elastyczne godziny pracy oraz dynamiczne środowisko sprzyjające rozwojowi zawodowemu. Pracując z nami jako Senior Big Data Engineer, będziesz miał okazję współpracować z utalentowanym zespołem, rozwijając swoje umiejętności w zakresie technologii big data, takich jak Spark i Scala, w inspirującej atmosferze innowacji i współpracy.
