W skrócie
- Zadania: Twórz nowoczesną platformę danych AI-first w dynamicznym środowisku AdTech.
- Firma: Innowacyjna firma AdTech z siedzibą w Szwecji, specjalizująca się w automatyzacji reklam.
- Benefity: Atrakcyjne wynagrodzenie, możliwość pracy zdalnej i rozwój zawodowy.
- Pozostałe informacje: Możliwość pracy nad międzynarodowymi projektami i mentoring młodszych inżynierów.
- Dlaczego ta praca: Wpływaj na strategię platformy i rozwiązuj złożone wyzwania systemowe.
- Kwalifikacje: 8+ lat doświadczenia w projektowaniu platform danych i silne umiejętności techniczne.
Przewidywane wynagrodzenie mieści się w przedziale 123750 - 151250 zł za rok.
Pełnoetatowa inicjatywa skoncentrowana na budowie nowej generacji platformy danych opartej na AI dla globalnego ekosystemu AdTech. Poszukujemy inżyniera Principal/Staff Data Platform, który podejmie decyzje architektoniczne, ustali standardy inżynieryjne i ukształtuje fundamenty dla skalowalnej analityki i możliwości AI.
Naszym klientem jest szwedzka firma AdTech specjalizująca się w zaawansowanych platformach reklamowych typu self-serve, które automatyzują bezpośrednie transakcje między reklamodawcami a głównymi globalnymi wydawcami. Ich rozwiązania poprawiają przejrzystość i efektywność operacyjną w reklamie cyfrowej i są zaufane przez globalnie rozpoznawalne marki, w tym TripAdvisor, Bloomberg, The Washington Post, Opera i Dow Jones.
Projekt koncentruje się na budowie nowoczesnej platformy danych od podstaw z naciskiem na niezmienne strumienie zdarzeń, zarządzane modele kanoniczne, warstwy semantyczne i skalowalną infrastrukturę analityczną. Platforma będzie wspierać obciążenia analityczne, produkty danych operacyjnych, aplikacje AI oraz przyszłe doświadczenia z danymi skierowane do klientów.
Jako Principal / Staff Data Platform Engineer będziesz odpowiedzialny za kluczowe decyzje architektoniczne, definiowanie skalowalnych standardów inżynieryjnych oraz pomoc w dostarczeniu pierwszej wersji produkcyjnej platformy w środowisku AdTech o wysokiej skali.
Kluczowe technologie: Apache Iceberg, Spark, Flink, Trino, AWS, Python, Scala, Java, CI/CD, Infrastructure as Code
Opis stanowiska:
- Prowadzenie technicznego projektowania i architektury nowoczesnej platformy danych na poziomie przedsiębiorstwa
- Definiowanie skalowalnych przepływów danych z przechowywania zdarzeń opartych na Iceberg do produktów danych analitycznych i operacyjnych
- Ocena i wybór technologii do orkiestracji, transformacji, zapytań, serwowania i przechowywania
- Projektowanie wielokrotnego użytku encji kanonicznych i modeli danych w obszarach reklamy, kampanii, zasobów, fakturowania i klientów
- Ustanawianie skalowalnych wzorców inżynieryjnych dla przetwarzania wsadowego i prawie rzeczywistego
- Budowanie niezawodnych i obserwowalnych potoków danych dla obciążeń AdTech o dużym wolumenie
- Implementacja jakości danych, śladu, obserwowalności i możliwości rekonsyliacji
- Współpraca z zespołami inżynieryjnymi platformy w celu wprowadzenia umów dotyczących danych i standardów zarządzania
- Definiowanie izolacji najemców, kontroli dostępu i strategii granic danych regionalnych
- Ustanawianie standardów dla testowania, automatyzacji wdrożeń, ewolucji schematów i wersjonowania
- Optymalizacja wydajności platformy, skalowalności i kosztów infrastruktury
- Mentorowanie inżynierów i przyczynianie się do doskonałości inżynieryjnej w zespole
- Ścisła współpraca z kierownictwem i interesariuszami międzyfunkcyjnymi
Kwalifikacje:
- 8+ lat doświadczenia w projektowaniu i obsłudze platform danych klasy produkcyjnej
- Silna wiedza na temat rozproszonych systemów danych i architektur opartych na zdarzeniach o dużym wolumenie
- Dogłębne zrozumienie nowoczesnych architektur lakehouse i Apache Iceberg
- Zaawansowane umiejętności SQL oraz doświadczenie produkcyjne z Pythonem, Javą, Scalą lub podobnymi językami
- Doświadczenie z technologiami przetwarzania rozproszonego i zapytań, takimi jak Spark, Flink lub Trino
- Silna wiedza na temat modelowania danych, strategii partycjonowania i optymalizacji wydajności
- Udokumentowane doświadczenie w budowaniu potoków danych wsadowych i prawie rzeczywistych
- Praktyczne doświadczenie z infrastrukturą chmurową AWS
- Silne zrozumienie procesów CI/CD, Infrastructure as Code i obserwowalności produkcji
- Doświadczenie w implementacji umów dotyczących danych, ewolucji schematów i ram jakości danych
- Umiejętność podejmowania pragmatycznych decyzji architektonicznych w środowiskach greenfield
- Poziom angielskiego co najmniej średniozaawansowany
- Silne umiejętności komunikacyjne i techniczne umiejętności przywódcze
Będzie dodatkowym atutem:
- Doświadczenie w AdTech lub innych dziedzinach przetwarzania zdarzeń o dużym wolumenie
- Znajomość technologii warstwy semantycznej
- Doświadczenie w obsłudze zarówno obciążeń analitycznych, jak i ML/AI
- Zrozumienie regulacji dotyczących prywatności i wymagań dotyczących rezydencji danych
Co oznacza sukces w ciągu pierwszych sześciu miesięcy:
- Pierwsza produkcyjna baza danych działa.
- Dokonano jasnych decyzji architektonicznych i zostały one udokumentowane.
- Zdarzenia wchodzące do platformy danych mają egzekwowalne umowy.
- Podstawowe encje kanoniczne istnieją i są testowane.
- Jakość danych i ślad są obserwowalne.
- Inni inżynierowie mogą wnosić wkład bez potrzeby rozumienia każdego szczegółu implementacji.
Principal Data Platform Engineer in Wrocław – pracodawca: Sigma Software
Sigma Software to doskonały pracodawca, który oferuje dynamiczne środowisko pracy w branży technologii budowlanej. Pracownicy mają możliwość rozwoju zawodowego poprzez udział w architekturze aplikacji oraz współpracę z zespołami iOS, QA i backend, co sprzyja innowacyjności i kreatywności. Dodatkowo, firma stawia na nowoczesne narzędzia i metodyki, co sprawia, że praca tutaj jest nie tylko satysfakcjonująca, ale także pełna wyzwań.
