Wird KI Dateningenieure ersetzen?

Kurz gesagt: KI wird Data Engineers nicht vollständig ersetzen; sie wird repetitive Aufgaben wie SQL-Abfragen, Pipeline-Gerüste, Tests und Dokumentation automatisieren. Wenn Ihre Rolle hauptsächlich aus wenig eigenverantwortlichem, ticketbasiertem Arbeiten besteht, sind Sie stärker gefährdet; wenn Sie hingegen für Zuverlässigkeit, Definitionen, Governance und Incident Response verantwortlich sind, beschleunigt KI Ihre Arbeit vor allem.

Wichtigste Erkenntnisse:

Verantwortung: Priorisieren Sie die Rechenschaftspflicht für Ergebnisse, nicht nur die schnelle Erstellung von Code.

Qualität: Tests, Observability und Verträge entwickeln, damit Pipelines vertrauenswürdig bleiben.

Governance: Datenschutz, Zugriffskontrolle, Aufbewahrung und Prüfprotokolle sollten in menschlicher Hand bleiben.

Missbrauchsresistenz: KI-Ausgaben sollten als Entwürfe behandelt und regelmäßig überprüft werden, um Fehlinterpretationen zu vermeiden.

Rollenwechsel: Weniger Zeit mit dem Schreiben von Standardtexten verbringen und mehr Zeit mit der Entwicklung langlebiger Systeme.

Wer sich länger als fünf Minuten mit Datenteams aufgehalten hat, kennt den Refrain – mal geflüstert, mal wie eine überraschende Wendung in die Runde geworfen: Wird KI die Dateningenieure ersetzen?

Und… ich verstehe es. KI kann SQL generieren, Pipelines erstellen, Stacktraces erklären, dbt-Modelle entwerfen und sogar Data-Warehouse-Schemas mit beunruhigender Sicherheit vorschlagen. GitHub Copilot für SQL. Über dbt-Modelle. GitHub Copilot.
Es ist, als würde man einem Gabelstapler beim Jonglierenlernen zusehen. Beeindruckend, ein wenig beunruhigend, und man ist sich nicht ganz sicher, was das für den eigenen Job bedeutet. 😅

Doch die Wahrheit ist weniger einfach als die Schlagzeile vermuten lässt. Künstliche Intelligenz verändert die Datenverarbeitung grundlegend. Sie automatisiert die monotonen, sich wiederholenden Aufgaben. Sie beschleunigt die Momente, in denen man zwar weiß, was man will, sich aber nicht an die Syntax erinnern kann. Gleichzeitig erzeugt sie aber auch ganz neue Arten von Chaos.

Lasst uns die Dinge also sachlich darlegen, ohne naiven Optimismus oder panische Panikmache.

Artikel, die Sie im Anschluss an diesen Artikel vielleicht interessieren:

🔗 Wird KI Radiologen ersetzen?
Wie KI in der Bildverarbeitung Arbeitsabläufe, Genauigkeit und zukünftige Rollen verändert.

🔗 Wird KI Buchhalter ersetzen?
Finden Sie heraus, welche Buchhaltungsaufgaben von KI automatisiert werden und welche weiterhin vom Menschen erledigt werden.

🔗 Wird KI Investmentbanker ersetzen?
Verstehen Sie den Einfluss von KI auf Geschäftsabschlüsse, Recherchen und Kundenbeziehungen.

🔗 Wird KI Versicherungsagenten ersetzen?
Erfahren Sie, wie KI die Bereiche Risikoprüfung, Vertrieb und Kundensupport verändert.

---

Warum die Frage „KI ersetzt Dateningenieure“ immer wieder auftaucht 😬

Die Befürchtung hat einen ganz bestimmten Ursprung: Data Engineering beinhaltet viele wiederholbare Aufgaben.

• SQL schreiben und refaktorisieren

• Erstellung von Datenaufnahmeskripten

• Zuordnung von Feldern von einem Schema zu einem anderen

• Erstellung von Tests und grundlegender Dokumentation

• Debugging von Pipeline-Fehlern, die… irgendwie vorhersehbar sind

KI ist außergewöhnlich gut darin, wiederkehrende Muster zu erkennen. Und ein Großteil der Datenverarbeitung besteht genau daraus – Muster werden übereinandergestapelt. GitHub Copilot Codevorschläge

Auch das Werkzeug-Ökosystem „verbirgt“ bereits Komplexität:

• Managed ELT Connectors Fivetran-Dokumentation

• Serverloses Computing mit AWS Lambda (serverloses Computing)

• Lagerbereitstellung mit einem Klick

• Auto-Scaling-Orchestrierung Apache Airflow-Dokumentation

• Deklarative Transformationsframeworks Was ist dbt?

Wenn also KI ins Spiel kommt, kann es sich wie das letzte Puzzleteil anfühlen. Wenn der Stack bereits abstrahiert ist und die KI den restlichen Code schreiben kann … was bleibt dann noch übrig? 🤷

Aber hier ist der entscheidende Punkt, der oft übersehen wird: Datenengineering besteht nicht hauptsächlich aus Tippen. Das Tippen ist der einfache Teil. Die eigentliche Herausforderung besteht darin, eine undurchsichtige, politisch geprägte und sich ständig verändernde Geschäftsrealität wie ein zuverlässiges System funktionieren zu lassen.

Und auch die KI hat mit dieser Unklarheit noch zu kämpfen. Menschen haben damit auch Schwierigkeiten – sie improvisieren nur besser.

---

Was Data Engineers den ganzen Tag wirklich tun (die unglamouröse Wahrheit) 🧱

Seien wir ehrlich – die Berufsbezeichnung „Data Engineer“ klingt, als würde man Raketentriebwerke aus reiner Mathematik entwickeln. In der Praxis geht es aber darum, Vertrauen.

Ein typischer Tag besteht weniger aus „neue Algorithmen erfinden“ und mehr aus:

• Verhandlungen mit vorgelagerten Teams über Datendefinitionen (mühsam, aber notwendig)

• Untersuchen, warum sich eine Kennzahl geändert hat (und ob diese Änderung real ist)

• Umgang mit Schemaabweichungen und Überraschungen wie „Jemand hat um Mitternacht eine Spalte hinzugefügt“

• Sicherstellen, dass Pipelines idempotent, wiederherstellbar und beobachtbar sind

• Schutzmechanismen schaffen, damit nachgelagerte Analysten nicht versehentlich unsinnige Dashboards erstellen

• Kostenkontrolle, damit Ihr Lager nicht zum Geldvernichtungsbecken wird 🔥

• Zugangssicherung, Auditierung, Compliance, Aufbewahrungsrichtlinien, DSGVO-Grundsätze (Europäische Kommission), Speicherbegrenzung (ICO)

• Entwicklung von Datenprodukten, die Menschen tatsächlich nutzen können, ohne Sie per Direktnachricht zu kontaktieren – 20 Fragen

Ein großer Teil der Arbeit ist sozialer und operativer Natur:

• „Wem gehört dieser Tisch?“

• „Ist diese Definition noch gültig?“

• „Warum exportiert das CRM Duplikate?“

• „Können wir diese Kennzahl den Führungskräften präsentieren, ohne uns zu blamieren?“ 😭

KI kann in einigen Bereichen helfen, klar. Aber sie vollständig zu ersetzen, ist… eine gewagte Behauptung.

---

Was zeichnet eine starke Data-Engineering-Rolle aus? ✅

Dieser Abschnitt ist wichtig, weil in der Diskussion um die Nachfolge von Dateningenieuren üblicherweise davon ausgegangen wird, dass diese hauptsächlich „Pipeline-Entwickler“ sind. Das ist so, als würde man annehmen, Köche würden hauptsächlich „Gemüse schneiden“. Es ist zwar Teil ihrer Arbeit, aber nicht ihre Hauptaufgabe.

Ein kompetenter Dateningenieur beherrscht in der Regel die meisten dieser Aufgaben:

• Für Veränderungen planen
  . Daten ändern sich. Teams ändern sich. Tools ändern sich. Ein guter Ingenieur baut Systeme, die nicht bei jeder Kleinigkeit zusammenbrechen. 🤧

• Verträge und Erwartungen definieren:
  Was bedeutet „Kunde“? Was bedeutet „aktiv“? Was passiert, wenn eine Zeile verspätet eintrifft? Verträge verhindern Chaos besser als ausgefeilter Code. Open Data Contract Standard (ODCS) ODCS (GitHub)

• Integrieren Sie Observability in alle Prozesse.
  Nicht nur die Frage „Ist es gelaufen?“, sondern auch „Ist es korrekt gelaufen?“. Aktualität, Volumenanomalien, Null-Explosionen, Verteilungsverschiebungen. Daten-Observability (Dynatrace). Was ist Daten-Observability?

• Treffen Sie Kompromisse wie ein Erwachsener:
  Geschwindigkeit vs. Korrektheit, Kosten vs. Latenz, Flexibilität vs. Einfachheit. Es gibt keine perfekte Pipeline, nur Pipelines, mit denen man leben kann.

• Geschäftliche Anforderungen in nachhaltige Systeme umsetzen:
  Man fragt nach Kennzahlen, braucht aber eigentlich ein datenbasiertes Produkt. KI kann den Code entwerfen, aber sie kann die Fallstricke des Geschäfts nicht vorhersehen.

• Daten diskret halten.
  Das größte Kompliment für eine Datenplattform ist, dass niemand darüber spricht. Unauffällige Daten sind gute Daten. Wie bei der Wasserleitung: Man merkt es erst, wenn sie versagt.

Wenn Sie diese Dinge tun, klingt die Frage „Wird KI Dateningenieure ersetzen?“ plötzlich etwas … unpassend. KI kann Aufgaben ersetzen , nicht aber die Zuständigkeit .

---

Wo KI bereits Dateningenieuren hilft (und das ist wirklich großartig) 🤖✨

KI ist nicht nur Marketing. Richtig eingesetzt, ist sie ein legitimer Wirkungsverstärker.

1) Schnellere SQL- und Transformationsverarbeitung

• Entwurf komplexer Verbindungen

• Fensterfunktionen schreiben, über die man lieber nicht nachdenken möchte

• Logik in einfacher Sprache in Abfragegerüste umwandeln

• Refactoring unübersichtlicher Abfragen in lesbare CTEs GitHub Copilot für SQL

Das ist ein enormer Vorteil, da es den „Leerseiteneffekt“ reduziert. Die Validierung ist zwar weiterhin erforderlich, aber man beginnt bei 70 % statt bei 0 %.

2) Fehlersuche und Ursachenanalyse

Die KI ist gut in Folgendem:

• Erläuterung von Fehlermeldungen

• Vorschläge, wo man suchen sollte

• GitHub Copilot empfiehlt Schritte vom Typ „Schema-Abweichung prüfen“. Es ist, als hätte man einen unermüdlichen Nachwuchsingenieur, der nie schläft und manchmal sogar dreist lügt 😅
  

3) Dokumentation und Anreicherung des Datenkatalogs

Automatisch generiert:

• Spaltenbeschreibungen

• Modellzusammenfassungen

• Abstammungserklärungen

• „Wozu dient diese Tabelle?“ – Entwürfe der DBT-Dokumentation

Es ist nicht perfekt, aber es beendet den Fluch der undokumentierten Datenpipelines.

4) Gerüstprüfung und Kontrollen

KI kann Folgendes vorschlagen:

• Grundlegende Nulltests

• Eindeutigkeitsprüfungen

• Ideen zur referenziellen Integrität

• Aussagen im Stil von „Diese Kennzahl sollte niemals sinken“ – DBT-Datentests – Große Erwartungen: Erwartungen

Nochmals – Sie entscheiden weiterhin, was wichtig ist, aber es beschleunigt die Routinearbeiten.

5) Pipeline-„Klebstoff“-Code

Konfigurationsvorlagen, YAML-Gerüste, DAG-Entwürfe für die Orchestrierung. Das ist repetitiv, und KI liebt Repetitives 🥣 Apache Airflow DAGs.

---

Wo die KI noch immer Schwierigkeiten hat (und das ist der Kern des Problems) 🧠🧩

Das ist der wichtigste Teil, denn er beantwortet die Frage des Ersatzes mit echter Aussagekraft.

1) Mehrdeutigkeit und sich ändernde Definitionen

Geschäftslogik ist selten eindeutig. Man ändert seine Meinung mitten im Satz. Aus „aktiver Nutzer“ wird „aktiver zahlender Nutzer“, dann „aktiver zahlender Nutzer ohne Rückerstattungen, außer in Ausnahmefällen“ … Sie kennen das ja.

KI kann diese Mehrdeutigkeit nicht beherrschen. Sie kann nur Vermutungen anstellen.

2) Verantwortlichkeit und Risiko

Wenn eine Pipeline ausfällt und das Management-Dashboard Unsinn anzeigt, muss jemand handeln:

• Triage

• Auswirkungen kommunizieren

• Repariere es

• Wiederauftreten verhindern

• Verfassen Sie den Obduktionsbericht

• Entscheiden, ob das Unternehmen den Zahlen der letzten Woche noch vertrauen kann

KI kann zwar helfen, aber sie kann nicht in sinnvoller Weise zur Rechenschaft gezogen werden. Organisationen funktionieren nicht nach Gefühl, sondern nach Verantwortung.

3) Systemisches Denken

Datenplattformen sind Ökosysteme: Datenerfassung, -speicherung, -transformation, -orchestrierung, -governance, Kostenkontrolle und SLAs. Eine Änderung auf einer Ebene hat weitreichende Folgen. Apache Airflow-Konzepte

KI kann lokale Optimierungen vorschlagen, die global Probleme verursachen. Das ist, als würde man eine quietschende Tür reparieren, indem man die Tür entfernt. 😬

4) Sicherheit, Datenschutz, Einhaltung der Vorschriften

Hier sterben Ersatzfantasien.

• Zugriffskontrollen

• Zeilenbasierte Sicherheit , Snowflake-Zugriffsrichtlinien für Zeilen , BigQuery-Zeilenbasierte Sicherheit

• Umgang mit personenbezogenen Daten gemäß dem NIST Privacy Framework

• Aufbewahrungsvorschriften Speicherbegrenzung (ICO) EU-Leitfaden zur Aufbewahrung

• Audit-Trails NIST SP 800-92 (Protokollverwaltung) CIS Control 8 (Verwaltung von Audit-Protokollen)

• Beschränkungen des Datenstandorts

Künstliche Intelligenz kann zwar Richtlinien entwerfen, aber deren sichere Umsetzung ist echte Ingenieurskunst.

5) Die „unbekannten Unbekannten“

Datenvorfälle sind oft unvorhersehbar:

• Eine Anbieter-API ändert stillschweigend die Semantik

• Eine Zeitzonenannahme kehrt sich um

• Ein Backfill dupliziert eine Partition

• Ein Wiederholungsmechanismus verursacht doppelte Schreibvorgänge

• Eine neue Produktfunktion führt neue Ereignismuster ein

Die KI ist schwächer, wenn es sich nicht um ein bekanntes Muster handelt.

---

Vergleichstabelle: Was reduziert was in der Praxis? 🧾🤔

Im Folgenden wird eine praxisorientierte Sichtweise dargestellt. Es geht nicht um „Werkzeuge, die Menschen ersetzen“, sondern um Werkzeuge und Ansätze, die bestimmte Aufgaben vereinfachen.

Werkzeug / Vorgehensweise	Publikum	Preisstimmung	Warum es funktioniert
KI-Code-Copiloten (SQL- und Python-Helfer) GitHub Copilot	Ingenieure, die viel Code schreiben	Von relativ kostenlos bis kostenpflichtig	Hervorragend in Scaffolding, Refactoring, Syntax… manchmal auf eine ganz bestimmte Art selbstgefällig
Verwaltete ELT-Konnektoren Fivetran	Teams, die es leid sind, die Datenerfassung zu entwickeln	Abonnement-y	Beseitigt Beschwerden bei der individuellen Einnahme, eröffnet aber gleichzeitig neue, unterhaltsame Möglichkeiten
Datenbeobachtungsplattformen Datenbeobachtung (Dynatrace)	Jeder, der SLAs besitzt	Mittelständische bis große Unternehmen	Erkennt Anomalien frühzeitig – wie Rauchmelder für Pipelines 🔔
Transformationsframeworks (deklarative Modellierung) dbt	Analytik + DE-Hybride	Üblicherweise Werkzeug + Berechnung	Macht die Logik modular und testbar, weniger Spaghetti-Code
Datenkataloge + semantische Schichten dbt Semantische Schicht	Organisationen mit Missverständnissen bezüglich Kennzahlen	Kommt darauf an, in der Praxis	Definiert „Wahrheit“ ein für alle Mal – reduziert endlose Debatten über Messgrößen
Orchestrierung mit Vorlagen Apache Airflow	Plattformorientierte Teams	Eröffnung + Betriebskosten	Standardisiert Arbeitsabläufe; weniger individuelle DAGs
KI-gestützte Dokumentationsgenerierung (dbt docs)	Teams, die das Schreiben von Dokumenten hassen	Günstig bis mittel	Erstellt „ausreichend gute“ Dokumente, damit Wissen nicht verloren geht
Richtlinien für automatisierte Governance gemäß dem NIST Privacy Framework	Regulierte Umgebungen	Unternehmensfreundlich	Hilft bei der Durchsetzung von Regeln – aber es braucht immer noch Menschen, die die Regeln entwerfen

Beachten Sie, was fehlt: eine Zeile mit dem Text „Knopf drücken, um Dateningenieure zu entfernen“. Ja… diese Zeile existiert nicht 🙃

---

Wird KI also Data Engineers ersetzen oder nur deren Rolle verändern? 🛠️

Hier die nüchterne Antwort: KI wird Teile des Arbeitsablaufs ersetzen, nicht den Beruf.

Aber es wird die Rollenverteilung verändern. Und wenn Sie das ignorieren, werden Sie die Folgen zu spüren bekommen.

Was sich ändert:

• Weniger Zeitaufwand für das Schreiben von Standardtexten

• Weniger Zeitaufwand für die Dokumentensuche

• Mehr Zeit für Überprüfung, Validierung und Gestaltung

• Mehr Zeit für die Definition von Verträgen und Qualitätserwartungen Open Data Contract Standard (ODCS)

• Mehr Zeit für die Zusammenarbeit mit Produktentwicklung, Sicherheit und Finanzen

Das ist die subtile Verschiebung: Beim Data Engineering geht es weniger um den „Aufbau von Pipelines“ und mehr um den „Aufbau eines zuverlässigen Datenproduktsystems“

Und paradoxerweise ist das nicht weniger wertvoll, sondern wertvoller.

Außerdem – und ich sage das, auch wenn es dramatisch klingt – erhöht KI die Anzahl der Personen, die Datenartefakte erzeugen können, was wiederum den Bedarf an jemandem steigert, der den Überblick behält. Mehr Output bedeutet mehr potenzielles Chaos. GitHub Copilot

Das ist, als würde man jedem einen Akkuschrauber geben. Toll! Jetzt muss nur noch jemand die Regel „Bitte nicht in die Wasserleitung bohren“ durchsetzen. 🪠

---

Der neue Kompetenzstapel, der auch im Zeitalter der KI wertvoll bleibt 🧠⚙️

Wenn Sie eine praktische, zukunftssichere Checkliste wünschen, sieht diese folgendermaßen aus:

Systemdesign-Denkweise

• Datenmodellierung, die Veränderungen übersteht

• Batch- vs. Streaming-Abwägungen

• Latenz, Kosten, Zuverlässigkeitsdenken

Datenqualitätsmanagement

• Verträge, Validierungen, Anomalieerkennung Open Data Contract Standard (ODCS) Datenbeobachtbarkeit (Dynatrace)

• SLAs, SLOs, Vorgehensweisen bei der Reaktion auf Sicherheitsvorfälle

• Ursachenanalyse mit Disziplin (nicht mit Gefühlen)

Governance- und Vertrauensarchitektur

• Zugriffsmuster

• Auditierbarkeit gemäß NIST SP 800-92 (Protokollverwaltung)

• Datenschutz durch Technikgestaltung – NIST-Datenschutzrahmen

• zum Datenlebenszyklusmanagement und zur Aufbewahrung

Plattformdenken

• Wiederverwendbare Vorlagen, goldene Wege

• Standardisierte Muster für die Aufnahme, Transformation und das Testen Fivetran- dbt-Datentests

• Selbstbedienungswerkzeuge, die nicht durchbrennen

Kommunikation (ja, wirklich)

• Verfassen klarer Dokumente

• Angleichung der Definitionen

• Höflich, aber bestimmt „Nein“ sagen

• Kompromisse erklären, ohne wie ein Roboter zu klingen 🤖

Wenn Sie diese Aufgaben erfüllen können, verliert die Frage „Wird KI Dateningenieure ersetzen?“ an Bedrohlichkeit. KI wird zu Ihrer Unterstützung, nicht zu Ihrem Ersatz.

---

Realistische Szenarien, in denen einige Data-Engineering-Rollen schrumpfen 📉

Okay, kurzer Realitätscheck, denn es ist nicht alles eitel Sonnenschein und Emoji-Konfetti 🎉

Manche Rollen sind exponierter:

• Reine Datenaufnahmerollen, bei denen alles Standardkonnektoren (Fivetran-Konnektoren)

• Teams, die hauptsächlich wiederkehrende Berichtsprozesse mit minimalen Fachkenntnissen durchführen

• Organisationen, in denen Dateningenieure wie „SQL-Affen“ behandelt werden (hart, aber wahr)

• Positionen mit geringer Verantwortung, bei denen die Arbeit lediglich aus Ticketing und Copy-Paste besteht

KI in Kombination mit verwalteten Tools kann diesen Bedarf verringern.

Aber auch dort sieht der Austausch in der Regel so aus:

• Weniger Menschen, die die gleiche monotone Arbeit verrichten

• Stärkerer Fokus auf Plattformbesitz und Zuverlässigkeit

• Ein Wandel hin zu „eine Person kann mehr Pipelines unterstützen“

Ja, Personalstrukturen können sich ändern. Rollen entwickeln sich weiter. Titel verändern sich. Das ist Fakt.

Dennoch bleibt die Variante dieser Rolle, die durch ein hohes Maß an Eigenverantwortung und hohem Vertrauen geprägt ist, weiterhin bestehen.

---

Zusammenfassung zum Abschluss 🧾✅

Wird KI Dateningenieure ersetzen? Nicht so einfach und vollständig, wie es sich die meisten vorstellen.

KI wird:

• automatisieren Sie wiederkehrende Aufgaben

• Beschleunigen Sie Codierung, Debugging und Dokumentation: GitHub Copilot für SQL dbt-Dokumentation

• die Kosten der Pipelineproduktion senken

Im Kern geht es bei Data Engineering jedoch um Folgendes:

• Rechenschaftspflicht

• Systemdesign

• Vertrauen, Qualität und Governance Open Data Contract Standard (ODCS) NIST Privacy Framework

• Übersetzung der undurchsichtigen Geschäftsrealität in zuverlässige Datenprodukte

KI kann dabei helfen… aber sie „besitzt“ es nicht.

Für Data Engineers ist der Schritt simpel (nicht einfach, aber simpel):
Übernehmen Sie Verantwortung, legen Sie Wert auf Qualität, plattformorientiertes Denken und Kommunikation. Überlassen Sie die Standardaufgaben der KI, während Sie sich um die wirklich wichtigen Aspekte kümmern.

Und ja – manchmal bedeutet das, die Vernünftige zu sein. Nicht glamourös. Aber still und leise wirkungsvoll 😄

Wird KI Data Engineers ersetzen?
Sie wird einige Aufgaben übernehmen, die Hierarchie verändern und die besten Data Engineers noch wertvoller machen. Das ist die eigentliche Wahrheit.

Praxisbeispiel: Aufbau eines KI-gestützten Workflows zur Überprüfung von Datenpipelines 🛠️

Szenario

Stellen Sie sich ein kleines E-Commerce-Unternehmen mit einem Dateningenieur, zwei Analysten und einem sehr bekannten Problem vor: Das Finanz-Dashboard funktioniert nicht mehr, sobald der Zahlungsanbieter einen Feldnamen ändert.

Das Team möchte nicht, dass die KI die Pipeline vollständig übernimmt. Das wäre riskant. Stattdessen nutzen sie die KI als Unterstützung bei der Erstellung von Entwürfen für Routinearbeiten, die aber wichtig sind: das Schreiben von DBT-Modellgerüsten, das Vorschlagen von Tests, das Verfassen von Dokumentationen und das Erstellen einer Checkliste für Code-Reviews.

Der menschliche Dateningenieur ist weiterhin für das finale Design, die Datendefinitionen, die Zugriffsregeln und die Produktionsbereitstellung verantwortlich. KI beschleunigt lediglich die komplexe Zwischenphase.

Was der Arbeitsablauf benötigt

Bevor KI eingesetzt wird, stellt das Team ihr genügend Kontext zur Verfügung, damit sie hilfreich sein kann:

• Das bestehende Zahlungstabellenschema

• Die Zieldefinitionen der Finanzkennzahlen, wie z. B. „Nettoerlös“, „Rückerstattungsbetrag“ und „abgewickelte Zahlung“

• Namenskonventionen für dbt-Modelle

• Beispiele für zugelassene Prüfungen

• Ein kurzer Datenvertrag für den Zahlungsfeed

• Regeln für den Umgang mit personenbezogenen Daten, fehlgeschlagenen Zahlungen, Duplikaten und verspätet eingegangenen Datensätzen

• Eine Auswahl vergangener Vorfälle, einschließlich der Ursachen und ihrer Behebung

Der Schlüssel liegt nicht darin, „KI mit dem Aufbau einer Pipeline zu beauftragen“. Das ist zu vage.

Der bessere Ansatz lautet: „Hier sind unsere Regeln, hier ist das Schema, hier ist das erwartete Verhalten. Entwerfen Sie etwas, das wir überprüfen können.“

Beispielanleitung

Sie helfen bei der Erstellung eines dbt-Modells für unsere Zahlungsdaten. Nutzen Sie das unten stehende Schema und die Regeln, um ein erstes Modell, empfohlene dbt-Tests und Dokumentationshinweise zu erstellen.

Das Modell muss die täglich abgerechneten Umsätze nach Bestell-ID und Zahlungsanbieter berechnen. Fehlgeschlagene Zahlungen und Testtransaktionen sind auszuschließen, Rückerstattungen sind nur dann abzuziehen, wenn der Rückerstattungsstatus „bestätigt“ ist.

Erfinden Sie keine Spalten. Falls eine erforderliche Spalte fehlt, listen Sie diese unter „Fragen zur menschlichen Überprüfung“ auf, anstatt zu raten.

Schlagen Sie außerdem Tests auf Eindeutigkeit, Nullwerte, zulässige Werte und Plausibilität der Umsätze vor. Kennzeichnen Sie jegliche Logik, die sich auf die Finanzberichterstattung auswirken könnte.

Wie man es testet

Ein sinnvoller Test ist klein und bewusst unspektakulär:

• Gib der KI ein bekanntes und funktionierendes Zahlungsschema und prüfe, ob sie die Erfindung neuer Felder vermeidet.

• Geben Sie dem Programm ein Schema mit einer fehlenden Spalte refund_status und beobachten Sie, ob es eine Frage stellt, anstatt zu raten.

• Führen Sie den generierten SQL-Code gegen einen Testdatensatz und nicht gegen einen Produktionsdatensatz aus.

• Vergleichen Sie das Ergebnis mit 20 manuell geprüften Zahlungsdatensätzen.

• Bitten Sie einen Analysten und den Dateningenieur, die Definitionen vor dem Zusammenführen zu überprüfen.

• Fügen Sie die akzeptierten Tests zur CI hinzu, damit die Pipeline sich nach der Bereitstellung weiterhin selbst überprüft.

Wichtig ist, die KI anhand der Fehlermodi zu testen, die Sie am meisten fürchten: erfundene Spalten, falsche Umsatzlogik, fehlende Rückerstattungsabwicklung und stillschweigende Duplikate von Zeilen.

Ergebnis

Beispielhaftes Ergebnis: basierend auf der Zeitmessung von drei beispielhaften Pipeline-Änderungsaufgaben vor und nach der Anwendung dieses Workflows.

Vor dem Einsatz von KI benötigte der Ingenieur etwa 5 Stunden und 30 Minuten pro Änderung: ungefähr 2 Stunden für das Schreiben von SQL-Abfragen, 1 Stunde für das Erstellen von Tests, 45 Minuten für das Schreiben von Dokumentationen und den Rest der Zeit für die Überprüfung von Sonderfällen mit der Finanzabteilung.

Wurde KI nur für erste Entwürfe eingesetzt, dauerte dieselbe Änderungsart etwa 2 Stunden und 10 Minuten. Die größte Zeitersparnis ergab sich bei der Erstellung von Testgerüsten und Dokumentationsentwürfen, deren Bearbeitungszeit von 1 Stunde und 45 Minuten auf rund 25 Minuten sank.

Der Schritt der menschlichen Überprüfung dauerte immer noch etwa 45 Minuten und sollte nicht entfernt werden.

Im Drei-Aufgaben-Test schlug die KI 18 Prüfungen vor. Der Entwickler akzeptierte 11, überarbeitete 5 und verwarf 2, da diese auf falschen Geschäftsregeln basierten. Diese Anzahl der Ablehnungen ist wichtig: Sie beweist, dass der Workflow überprüft werden muss und nicht blindem Vertrauen bedarf.

Was kann schiefgehen?

Künstliche Intelligenz kann eine Pipeline vollständiger erscheinen lassen, als sie tatsächlich ist.

Häufige Fehlerquellen sind:

• Kolumnen erfinden, die plausibel klingen

• Rückerstattungen, Rückbuchungen und fehlgeschlagene Zahlungen als dasselbe zu behandeln

• Fehlende Zeitzonenprobleme bei den täglichen Einnahmen

• Vorschlagen generischer Tests, die Finanzfehler nicht aufdecken

• Dokumentation verfassen, die selbstbewusst klingt, aber Unsicherheit verbirgt

• Vergessen der Datenschutzregeln, wenn Beispieldaten Kundendaten enthalten

Eine gute Regel: KI kann das Modell entwerfen, aber ein Mensch muss Definitionen, Geldlogik, Zugriffskontrolle und Produktionsfreigabe absegnen.

Praktische Erkenntnisse

Der wertvolle Einsatz von KI im Data Engineering besteht nicht darin, den Data Engineer zu ersetzen. Vielmehr geht es darum, die leere Seite zu entfernen und anschließend gründlich zu überprüfen.

Das bedeutet schnellere SQL-Abfragen, schnellere Tests und eine bessere Dokumentation im ersten Anlauf, während der Entwickler weiterhin den wichtigsten Teil in der Hand hält: ob die Daten korrekt, vertrauenswürdig, sicher und erklärbar sind.

---

Häufig gestellte Fragen

Wird KI Dateningenieure vollständig ersetzen?

In den meisten Organisationen wird KI eher bestimmte Aufgaben übernehmen, als die Rolle vollständig zu ersetzen. Sie kann die SQL-Abfrage, den Aufbau von Datenpipelines, die Erstellung erster Dokumentationsdurchläufe und die Entwicklung grundlegender Tests beschleunigen. Doch Data Engineering bringt auch Verantwortung und Rechenschaftspflicht mit sich, sowie die wenig glamouröse Aufgabe, komplexe Geschäftsprozesse in ein zuverlässiges System zu verwandeln. Hier sind weiterhin Menschen nötig, die entscheiden, was „richtig“ ist und die Verantwortung übernehmen, wenn etwas schiefgeht.

Welche Bereiche der Datenverarbeitung werden bereits durch KI automatisiert?

KI erzielt ihre besten Ergebnisse bei wiederkehrenden Aufgaben: dem Erstellen und Refactoring von SQL-Abfragen, dem Generieren von DBT-Modellgerüsten, dem Erklären häufiger Fehler und dem Erstellen von Dokumentationsentwürfen. Sie kann auch Tests wie Null- oder Eindeutigkeitsprüfungen strukturieren und Vorlagen für Orchestrierungstools generieren. Der Vorteil liegt im schnellen Fortschritt – man nähert sich einer funktionierenden Lösung –, muss aber dennoch die Korrektheit überprüfen und sicherstellen, dass sie zur Umgebung passt.

Wenn KI SQL-Abfragen und Pipelines schreiben kann, was bleibt dann noch für Dateningenieure übrig?

Eine ganze Menge: Datenverträge definieren, Schemaabweichungen handhaben und sicherstellen, dass Pipelines idempotent, beobachtbar und wiederherstellbar sind. Data Engineers verbringen viel Zeit damit, Metrikänderungen zu untersuchen, Schutzmechanismen für nachgelagerte Nutzer zu entwickeln und Kosten- und Zuverlässigkeitsabwägungen zu managen. Im Kern geht es oft darum, Vertrauen aufzubauen und die Datenplattform so stabil zu halten, dass sich niemand im täglichen Betrieb darum kümmern muss.

Wie verändert KI die tägliche Arbeit eines Dateningenieurs?

Dadurch werden in der Regel Standardcode und Recherchezeiten reduziert, sodass Sie weniger Zeit mit Tippen und mehr Zeit mit Überprüfen, Validieren und Entwerfen verbringen. Diese Verlagerung führt dazu, dass Erwartungen, Qualitätsstandards und wiederverwendbare Muster definiert werden, anstatt alles manuell zu programmieren. In der Praxis werden Sie wahrscheinlich enger mit Produktmanagement, Sicherheit und Finanzen zusammenarbeiten – denn die technischen Ergebnisse lassen sich zwar leichter erstellen, aber schwieriger kontrollieren.

Warum hat KI Schwierigkeiten mit mehrdeutigen Geschäftsdefinitionen wie „aktiver Nutzer“?

Da Geschäftslogik weder statisch noch präzise ist – sie ändert sich mitten im Projekt und variiert je nach Stakeholder –, kann KI zwar Interpretationen entwerfen, aber keine Entscheidung treffen, wenn sich Definitionen weiterentwickeln oder Konflikte auftreten. Data Engineering erfordert häufig Verhandlungen, die Dokumentation von Annahmen und die Umwandlung unklarer Anforderungen in verbindliche Verträge. Diese „menschliche Abstimmung“ ist ein wesentlicher Grund dafür, dass diese Rolle auch bei verbesserten Tools nicht verschwindet.

Kann KI Datenverwaltung, Datenschutz und Compliance-Arbeit sicher bewältigen?

KI kann bei der Erstellung von Richtlinien oder der Entwicklung von Lösungsansätzen helfen, doch eine sichere Umsetzung erfordert weiterhin fundierte technische Expertise und sorgfältige Überwachung. Governance umfasst Zugriffskontrollen, den Umgang mit personenbezogenen Daten, Aufbewahrungsfristen, Prüfprotokolle und mitunter auch Aufenthaltsbeschränkungen. Dies sind Hochrisikobereiche, in denen „fast richtig“ nicht akzeptabel ist. Menschen müssen die Regeln entwerfen, deren Einhaltung überprüfen und die Verantwortung für die Einhaltung der Vorschriften tragen.

Welche Fähigkeiten bleiben für Dateningenieure auch bei der Weiterentwicklung von KI wertvoll?

Fähigkeiten, die Systeme resilient machen: Systemdesign, Datenqualitätssicherung und plattformorientierte Standardisierung. Verträge, Observability, Vorgehensweisen bei der Reaktion auf Sicherheitsvorfälle und disziplinierte Ursachenanalyse gewinnen noch mehr an Bedeutung, wenn mehr Menschen schnell Datenartefakte generieren können. Kommunikation wird ebenfalls zum entscheidenden Faktor – einheitliche Definitionen, klare Dokumentationen und die sachliche Erläuterung von Kompromissen tragen wesentlich zur Vertrauenswürdigkeit von Daten bei.

Welche Data-Engineering-Rollen sind am stärksten durch KI und Managed Tools gefährdet?

Rollen, die sich hauptsächlich auf die wiederholte Datenerfassung oder Standard-Reporting-Pipelines konzentrieren, sind stärker gefährdet, insbesondere wenn verwaltete ELT-Konnektoren die meisten Datenquellen abdecken. Aufgaben mit geringer Eigenverantwortung und Ticket-basierter Bearbeitung können zurückgehen, da KI und Abstraktion den Aufwand pro Pipeline reduzieren. Dies äußert sich jedoch in der Regel in weniger Mitarbeitern, die sich wiederholende Aufgaben erledigen, nicht in einem „Ausbleiben von Data Engineers“. Rollen mit hoher Eigenverantwortung, die auf Zuverlässigkeit, Qualität und Vertrauen ausgerichtet sind, bleiben weiterhin relevant.

Wie kann ich Tools wie GitHub Copilot oder dbt mit KI nutzen, ohne Chaos zu stiften?

Betrachten Sie KI-Ergebnisse als Entwurf, nicht als endgültige Entscheidung. Nutzen Sie sie, um Abfragegerüste zu generieren, die Lesbarkeit zu verbessern oder DBT-Tests und -Dokumentationen zu erstellen. Validieren Sie diese anschließend anhand realer Daten und Grenzfälle. Ergänzen Sie die Ergebnisse durch klare Konventionen: Verträge, Namenskonventionen, Überprüfungen und Review-Verfahren. Ziel ist eine schnellere Bereitstellung ohne Einbußen bei Zuverlässigkeit, Kostenkontrolle oder Governance.

Referenzen

1. Europäische Kommission – Datenschutz erklärt: DSGVO-Grundsätze – commission.europa.eu

2. Information Commissioner's Office (ICO) – Speicherbegrenzung – ico.org.uk

3. Europäische Kommission – Wie lange dürfen Daten aufbewahrt werden und ist eine Aktualisierung erforderlich? – commission.europa.eu

4. Nationales Institut für Standards und Technologie (NIST) – Datenschutzrahmen – nist.gov

5. NIST Computer Security Resource Center (CSRC) – SP 800-92: Leitfaden zur Verwaltung von Computersicherheitsprotokollen – csrc.nist.gov

6. Center for Internet Security (CIS) – Audit-Log-Management (CIS Controls) – cisecurity.org

7. Snowflake-Dokumentation – Zugriffsrichtlinien für Zeilen – docs.snowflake.com

8. Google Cloud-Dokumentation – BigQuery-Sicherheit auf Zeilenebene – docs.cloud.google.com

9. BITOL – Open Data Contract Standard (ODCS) v3.1.0 – bitol-io.github.io

10. BITOL (GitHub) – Open Data Contract Standard – github.com

11. Apache Airflow – Dokumentation (stabil) – airflow.apache.org

12. Apache Airflow – DAGs (Kernkonzepte) – airflow.apache.org

13. dbt Labs Dokumentation – Was ist dbt? – docs.getdbt.com

14. dbt Labs Dokumentation – Informationen zu dbt-Modellen – docs.getdbt.com

15. dbt Labs Dokumentation – Dokumentation – docs.getdbt.com

16. dbt Labs Dokumentation – Datentests – docs.getdbt.com

17. dbt Labs-Dokumentation – dbt Semantic Layer – docs.getdbt.com

18. Fivetran-Dokumentation – Erste Schritte – fivetran.com

19. Fivetran – Konnektoren – fivetran.com

20. AWS-Dokumentation – AWS Lambda-Entwicklerhandbuch – docs.aws.amazon.com

21. GitHub – GitHub Copilot – github.com

22. GitHub-Dokumentation – Codevorschläge in Ihrer IDE mit GitHub Copilot – docs.github.com

23. Microsoft Learn – GitHub Copilot für SQL (VS Code-Erweiterung) – learn.microsoft.com

24. Dynatrace-Dokumentation – Datenbeobachtung – docs.dynatrace.com

25. DataGalaxy – Was ist Datenbeobachtbarkeit? – datagalaxy.com

26. Dokumentation zu Great Expectations – Erwartungen im Überblick – docs.greatexpectations.io

Entdecken Sie die neuesten KI-Lösungen im offiziellen KI-Assistenten-Shop

Über uns