Data Engineer
Warszawa / Częstochowa / Opole / Zdalnie
O ConnectPoint
Każdy rok pokazuje, że rośniemy w siłę. Obecnie nasz zespół tworzy ponad 150 osób posiadających zróżnicowane kompetencje i poziom doświadczenia zawodowego. Dzięki temu realizujemy innowacyjne projekty na najwyższym poziomie, a nasi pracownicy mają możliwość rozwoju niezależnie od zajmowanego stanowiska.
Forma współpracy
Doświadczenie
Mid
Wynagrodzenie
B2B: 15000 – 20000 PLN netto + VAT
Twoje zadania
-
Projektowanie, implementacja i utrzymanie procesów zasilania i przetwarzania danych
-
Projektowanie, implementacja i utrzymanie platform danych we współpracy z zespołem DevOps
-
Przygotowanie danych do raportów, a także do zasilania innych procesów
-
Tworzenie, zarządzanie i optymalizacja modeli danych
-
Codzienne wsparcie dla naszych klientów z obszaru Energy, Utilities i Manufacturing
Nasze oczekiwania
-
Masz co najmniej 3 lata doświadczenia jako Data Engineer
-
Posiadasz bardzo dobrą znajomość Python i SQL
-
Znasz relacyjne bazy danych, rozwiązania hurtowni danych, platformy data lake oraz data lakehouse
-
Umiesz pracować z systemami kontroli wersji jak Git oraz znasz podstawy CI/CD
-
Korzystasz z co najmniej jednej technologii z obszarów takich jak:
– Platformy danych: Databricks, Snowflake, MS Fabric, Synapse, BigQuery, w tym zbudowane na open-source (np. Hive, Trino, Apache Spark)
– Chmury publiczne: Azure, Google Cloud, AWS oraz prywatne
– Narzędzia ETL/ELT: Apache Airflow, NiFi, Azure Data Factory, Google Dataflow, Dataproc
– Storage: S3-compatible Object Storage, Azure Storage Account, GCS
– Formaty danych: Delta Lake, Iceberg
– Bazy danych: PostgreSQL, SQL Server, Oracle
-
Potrafisz implementować mechanizmy typu data quality do weryfikacji poprawności przetwarzania danych i ich jakości
-
Potrafisz diagnozować problemy wydajnościowe i optymalizować procesy przetwarzania danych
-
Potrafisz współpracować z klientem i rozumiesz jego potrzeby biznesowe
-
Jesteś komunikatywny/a, odpowiedzialny/a i znasz angielski na poziomie umożliwiającym codzienną komunikację
-
Dodatkowo cenimy:
– Znajomość baz szeregów czasowych (np. TimescaleDB)
– Doświadczenie z danymi strumieniowymi (Kafka, pub/sub, Azure Event Hubs)
– Znajomość narzędzi do transformacji danych np. dbt
– Umiejętność tworzenia raportów i dashboardów z wykorzystaniem narzędzi Power BI, Tableau, Apache Superset, Metabase, Grafana
– Doświadczenie w data governance I znajomość narzędzi: OpenMetadata, DataHub, Apache Atlas, Collibra, Alation, Atlan, Microsoft Purview
Etapy rekrutacji
Aplikuj teraz
Porozmawiajmy
Rozmowa
kwalifikacyjna
online
kwalifikacyjna
online
Oferta