W skrócie
- Zadania: Twórz i rozwijaj przepływy danych oparte na Kafka dla raportowania regulacyjnego.
- Firma: Grid Dynamics - lider w konsultingu technologicznym i inżynierii produktów.
- Benefity: Konkurencyjne wynagrodzenie, elastyczny grafik, pakiet benefitów zdrowotnych.
- Pozostałe informacje: Dynamiczne środowisko z możliwościami rozwoju zawodowego.
- Dlaczego ta praca: Pracuj z nowoczesnymi technologiami i wpływaj na transformację biznesową.
- Kwalifikacje: Doświadczenie w budowaniu produkcyjnych strumieni danych oraz znajomość architektury Kafka.
Przewidywane wynagrodzenie mieści się w przedziale 63000 - 77000 zł za rok.
Grid Dynamics provides technology consulting, platform and product engineering, AI, and advanced analytics services. It helps enterprise companies undergoing business transformation address technical challenges and achieve positive business outcomes. The company has expertise in enterprise AI, data, analytics, cloud and DevOps, application modernization, and customer experience.
Задачи
- Design and build Kafka-based data flows using Kafka Streams and/or Kafka Connect, selecting appropriate delivery guarantees.
- Implement error handling with retries, dead-letter queues, and reprocessing.
- Preserve message ordering and manage schema evolution using Schema Registry with Avro or Protobuf.
- Model facts, dimensions, and SCD for regulatory reporting, and build ingestion and processing with Streams & Tasks, Snowpipe, and Time Travel.
- Implement reconciliation, validation, and deduplication to ensure reported figures are accurate and traceable.
- Monitor and tune consumer lag and throughput, and optimise Snowflake queries using execution plans, clustering keys, pruning, and warehouse sizing.
- Help define processes and architecture from scratch in a newly formed team.
Wymagania
- Commercial experience as a data or software engineer building production streaming and data pipelines.
- Strong knowledge of Kafka architecture, delivery guarantees, Kafka Streams and/or Kafka Connect, and Schema Registry with Avro or Protobuf.
- Advanced SQL in Snowflake, including complex queries and hands-on query optimisation.
- Practical experience with Snowflake Streams & Tasks, Snowpipe, and Time Travel.
- Experience modelling reporting data and implementing reconciliation, validation, and deduplication.
- Independent and proactive, comfortable in a newly formed team, with good communication in English.
Bedzie plusem
- Apache Flink.
- Java 11/17+
- Spring Boot.
- Spring Kafka.
- JUnit.
- Mockito.
- Testcontainers.
- Kubernetes.
- CI/CD.
- Git.
- Cloud experience.
- Banking or payments reporting.
- Understanding of data auditability, lineage, and accuracy requirements.
Warunki
- Competitive salary.
- Flexible schedule.
- Benefits package: medical insurance and sports.
- Corporate social events.
- Professional development opportunities.
- Well-equipped office.
Data Engineer for Regulatory Reporting in Wrocław – pracodawca: Grid Dynamics
Grid Dynamics w Warszawie to doskonały pracodawca, który oferuje elastyczne godziny pracy oraz dynamiczne środowisko sprzyjające rozwojowi zawodowemu. Pracując z nami jako Senior Big Data Engineer, będziesz miał okazję współpracować z utalentowanym zespołem, rozwijając swoje umiejętności w zakresie technologii big data, takich jak Spark i Scala, w inspirującej atmosferze innowacji i współpracy.
