Lead Data Engineer (m/w/d)

Die DLG-Gruppe zählt zu den führenden Genossenschaften Europas in den Bereichen Lebensmittel, Energie und Baustoffe. Unser Auftrag ist es, langfristigen Mehrwert für unsere landwirtschaftlichen Eigentümer und für die Gesellschaft zu schaffen – durch verlässliche Produkte, innovative Lösungen und nachhaltiges Wachstum in all unseren Geschäftsbereichen. Mit rund 7.000 Mitarbeitenden in 18 Ländern und auf Basis unserer genossenschaftlichen Struktur gestalten wir unsere Zukunft durch gemeinsame Werte, nachhaltige Ziele und den festen Glauben an die Kraft der Zusammenarbeit. 

Die team SE mit Sitz in Flensburg ist ein wesentlicher Bestandteil der DLG-Gruppe. Unsere zentralen Unternehmensfunktionen sind standortübergreifend zwischen Flensburg und dem DLG-Hauptsitz in Fredericia organisiert. Gemeinsam unterstützen wir die Geschäftsbereiche über Ländergrenzen hinweg und tragen zu einer effizienten, integrierten und zukunftsfähigen Organisation bei, die Skaleneffekte und Synergien optimal nutzt. 

Du übernimmst die technische Verantwortung für das Data-Engineering-Team und prägst maßgeblich die technische Ausrichtung unserer Data-Engineering-Praktiken im gesamten Unternehmen. Du schreibst Code, definierst Standards und unterstützt sowie coachst andere Engineers. Gleichzeitig bist du die zentrale technische Eskalationsstelle für komplexe Herausforderungen.

Zu deinen Kernaufgaben gehören:

• Die Leitung von Design, Entwicklung und Optimierung von Data-Lösungen im Enterprise-Maßstab auf Databricks
• Die Konzeption und Implementierung skalierbarer Data-Ingestion-Frameworks für Batch- und Streaming-Workloads
• Die Verantwortung für Databricks Asset Bundles / Declarative Automation Bundles, Deployment-Pipelines und Multi-Environment-Konfigurationen
• Die Steuerung von Data-Governance-Initiativen über Unity Catalog, inklusive Access Management, Storage Credentials und Metadatenverwaltung
• Die Definition und Pflege von Engineering-Standards wie Coding Practices, Code Reviews, Dokumentation und Data-Quality-Frameworks
• Das Coaching anderer Data Engineers sowie die Übernahme der technischen Eskalation bei komplexen Herausforderungen

Du bist eine hands-on technische Führungskraft (m/w/d) mit umfassender Databricks-Erfahrung. Du denkst über die unmittelbare Aufgabe hinaus, hast die gesamte Plattform im Blick und triffst Architekturentscheidungen mit Fokus auf Skalierbarkeit und langfristige Datenstrategie. Du verstehst die Verbindung zwischen Engineering-Output und Business-Impact und findest die Balance zwischen schneller Lieferung und nachhaltiger Governance.

Wir stellen uns vor, dass du:

• Umfassende praktische Erfahrung mit produktionsreifen Databricks-Lösungen hast
• Sehr sicher in Python, PySpark und SQL bist – inklusive komplexer Transformationen, Performanceoptimierung und Query-Design
• Erfahrung im Design von Databricks Asset Bundles und im Deployment über mehrere Umgebungen hinweg mitbringst
• Fundiertes Wissen über Unity Catalog, Data Governance, Access Control und Best Practices im Datenmanagement besitzt
• CI/CD-Pipelines mit GitHub Actions, Azure DevOps oder ähnlichen Technologien aufgebaut und betrieben hast
• Architekturentscheidungen und technische Trade-offs klar und verständlich kommunizieren kannst – sowohl technisch als auch nicht-technisch - auf Deutsch und Englisch 

Zusätzlich von Vorteil sind:

• Erfahrung mit Databricks AI/BI Dashboards, Genie oder Semantic Layer Design
• Kenntnisse im Azure Identity- und Secrets-Management, z. B. Entra ID, OIDC Federation und Azure Key Vault
• Erfahrung darin, GDPR- und Vertraulichkeitsanforderungen in Data-Engineering-Lösungen zu integrieren

Bei DLG wirst du Teil einer ambitionierten und kollaborativen Organisation, in der Daten eine immer wichtigere Rolle für Innovation und geschäftlichen Mehrwert spielen. Du erhältst die Chance, unsere moderne Datenplattform aktiv mitzugestalten und an strategischen Initiativen im gesamten Unternehmen mitzuwirken.

Wir bieten dir ein flexibles und unterstützendes Arbeitsumfeld mit hervorragenden Möglichkeiten zur fachlichen Weiterentwicklung, zum Wissensaustausch und zum beruflichen Wachstum. Dich erwartet eine Kultur, die von Zusammenarbeit, Vertrauen und kontinuierlicher Verbesserung geprägt ist.

Wir freuen uns über deine Bewerbung im PDF-Format über unser Bewerbungsportal unter Angabe deiner Gehaltsvorstellung und des frühestmöglichen Eintrittstermins.