Data Engineer
Warszawa / Częstochowa / Opole / Zdalnie
O ConnectPoint
Każdy rok pokazuje, że rośniemy w siłę. Obecnie nasz zespół tworzy ponad 150 osób posiadających zróżnicowane kompetencje i poziom doświadczenia zawodowego. Dzięki temu realizujemy innowacyjne projekty na najwyższym poziomie, a nasi pracownicy mają możliwość rozwoju niezależnie od zajmowanego stanowiska.
Forma współpracy
Doświadczenie
Mid/Senior
Wynagrodzenie
B2B: 15000 – 20000 PLN netto + VAT
Twoje zadania
-
Projektowanie, implementacja i rozwój platform oraz procesów do przetwarzania danych w czasie rzeczywistym (real-time) i wsadowo
-
Budowa i rozwój architektury opartej o event streaming oraz integrację systemów wymieniających dane w czasie rzeczywistym
-
Tworzenie i optymalizacja pipeline’ów danych oraz modeli danych dla systemów analitycznych i operacyjnych
-
Projektowanie niezawodnych, skalowalnych rozwiązań we współpracy z zespołem DevOps
-
Wsparcie klientów z obszaru Energy, Utilities i Manufacturing w budowie nowoczesnych platform danych
Nasze oczekiwania
-
Masz minimum 3 lata doświadczenia jako Data Engineer
-
Cechuje Cię bardzo dobra znajomość Python i SQL
-
Posiadasz doświadczenie w projektowaniu i budowie pipeline’ów danych, w szczególności przetwarzania danych strumieniowych i eventowych
-
Znasz architekturę event-driven oraz narzędzia do przetwarzania danych w czasie rzeczywistym (np. Apache Kafka, Kafka Connect, Apache Flink, Spark Structured Streaming, Apache Pulsar, Azure Event Hubs, Google Pub/Sub)
-
Możesz pochwalić się znajomością relacyjnych baz danych oraz technologii wykorzystywanych do budowy nowoczesnych platform danych
-
Praca z Git oraz CI/CD nie jest Ci obca
-
Masz doświadczenie z wybranymi technologiami z obszarów:
-
Open Source Data: Apache Kafka, Spark, Flink, Trino, Hive
-
Chmury publiczne: Azure, AWS, Google Cloud
-
Orkiestracja i integracja: Airflow, NiFi
-
Storage: S3-compatible Object Storage, Azure Storage, GCS
-
Formaty danych: Iceberg, Delta Lake
-
Bazy danych: PostgreSQL, TimescaleDB, SQL Server
-
Umiesz monitorować jakości danych oraz diagnozować problemy wydajnościowe
-
Nie boisz się współpracy z klientem i rozumiesz potrzeby biznesowe
-
Cechuje Cię komunikatywność a Twój język angielski umożliwia codzienną pracę
Dodatkowo cenimy
-
Znajomość podstaw konteneryzacji i orkiestracji kontenerów (Docker, Kubernetes)
-
Doświadczenie w integracji danych z wykorzystaniem protokołów komunikacyjnych (OPC UA, MQTT, RPC) oraz interfejsów REST API
-
Znajomość Grafana, Prometheus lub innych narzędzi do monitoringu i observability
-
Doświadczenie z platformami danych Databricks, Snowflake, Microsoft Fabric, Google BigQuery i narzędziami do transformacji danych np. dbt
-
Znajomość narzędzi do Data Governance (OpenMetadata, DataHub, Apache Atlas, Collibra)
Nie musisz znać wszystkich wymienionych technologii. Jeśli masz praktyczne doświadczenie z kilkoma z nich i chcesz rozwijać się w pozostałych obszarach, zapraszamy do aplikowania.
Etapy rekrutacji
Aplikuj teraz
Porozmawiajmy
Rozmowa
kwalifikacyjna
online
kwalifikacyjna
online
Oferta