Was ist KI-Vorverarbeitung?

Kurz gesagt: KI-Vorverarbeitung ist eine Reihe wiederholbarer Schritte, die Rohdaten mit hoher Varianz in konsistente Modelleingaben umwandeln. Dazu gehören Bereinigung, Kodierung, Skalierung, Tokenisierung und Bildtransformationen. Dies ist wichtig, da Modelle unbemerkt versagen können, wenn sich Trainings- und Produktionseingaben unterscheiden. Wenn ein Schritt Parameter „lernt“, sollte er ausschließlich mit Trainingsdaten trainiert werden, um Datenlecks zu vermeiden.

Die KI-Vorverarbeitung umfasst alle Schritte, die mit Rohdaten vor (und manchmal auch während) des Trainings oder der Inferenz durchgeführt werden, damit ein Modell tatsächlich daraus lernen kann. Es geht nicht nur um „Bereinigen“. Vielmehr beinhaltet es das Bereinigen, Formen, Skalieren, Kodieren, Anreichern und Verpacken von Daten in eine konsistente Repräsentation, die das Modell später nicht unbemerkt austrickst. [1]

Wichtigste Erkenntnisse:

Definition: Die Vorverarbeitung wandelt Rohdaten wie Tabellen, Texte, Bilder und Protokolle in modellfertige Merkmale um.

Konsistenz: Wenden Sie während des Trainings und der Inferenz die gleichen Transformationen an, um Fehlanpassungen zu vermeiden.

Leckage: Skalierer, Encoder und Tokenisierer sollten nur auf Trainingsdaten trainiert werden.

Reproduzierbarkeit: Erstellen Sie Pipelines mit überprüfbaren Statistiken, nicht ad-hoc-Notebook-Zellensequenzen.

Produktionsüberwachung: Abweichungen und Drifts verfolgen, damit die Eingangsgrößen die Leistung nicht allmählich beeinträchtigen.

Artikel, die Sie im Anschluss an diesen Artikel vielleicht interessieren:

🔗 Wie man KI-Modelle auf ihre Leistung in der realen Welt testet
Praktische Methoden zur schnellen Bewertung von Genauigkeit, Robustheit und Verzerrung.

🔗 Ist Text-zu-Sprache-KI und wie funktioniert sie?
Erklärt die Grundlagen der Text-to-Speech-Technologie, ihre wichtigsten Anwendungsbereiche und die heute üblichen Einschränkungen.

🔗 Kann KI heute noch Schreibschrift präzise lesen?
Behandelt Herausforderungen bei der Erkennung, die besten Tools und Tipps zur Genauigkeit.

🔗 Wie genau ist KI bei gängigen Aufgaben?
Erläutert Genauigkeitsfaktoren, Benchmarks und die Zuverlässigkeit in der Praxis.

---

KI-Vorverarbeitung in einfachen Worten (und was sie nicht ist) 🤝

Die KI-Vorverarbeitung wandelt Rohdaten (Tabellen, Texte, Bilder, Protokolle) in modellfähige Merkmale um. Man kann sich Rohdaten wie eine unordentliche Garage vorstellen; die Vorverarbeitung bedeutet, die Kisten zu beschriften, kaputten Schrott auszusortieren und die Dinge so zu stapeln, dass man sich gefahrlos hindurchbewegen kann.

Es ist nicht das Modell selbst. Es ist das, was das Modell erst möglich macht:

• Umwandlung von Kategorien in Zahlen (One-Hot-Zahlen, Ordinalzahlen usw.) [1]

• Skalierung großer Zahlenbereiche in sinnvolle Bereiche (Standardisierung, Min-Max usw.) [1]

• Tokenisierung von Text in Eingabe-IDs (und üblicherweise eine Aufmerksamkeitsmaske) [3]

• Größenänderung/Zuschneiden von Bildern und geeignete Anwendung deterministischer bzw. zufälliger Transformationen [4]

• Aufbau wiederholbarer Pipelines, damit Training und Eingaben aus dem „echten Leben“ nicht auf subtile Weise voneinander abweichen [2]

Ein kleiner praktischer Hinweis: „Vorverarbeitung“ umfasst alles, was standardmäßig geschieht, bevor das Modell die Eingabedaten sieht. Manche Teams unterteilen dies in „Feature Engineering“ und „Datenbereinigung“, aber in der Praxis verschwimmen diese Grenzen. 

 

---

Warum KI-Vorverarbeitung wichtiger ist, als allgemein angenommen wird 😬

Ein Modell erkennt Muster, kann aber keine Gedanken lesen. Sind die Eingaben widersprüchlich, lernt das Modell widersprüchliche Regeln. Das ist keine philosophische Betrachtung, sondern bittere Realität.

Die Vorverarbeitung hilft Ihnen dabei:

• Die Lernstabilität lässt sich verbessern , indem Merkmale in Repräsentationen umgewandelt werden, die von den Schätzern zuverlässig genutzt werden können (insbesondere bei Skalierung/Kodierung). [1]

• Das Rauschen wird reduziert , indem die unübersichtliche Realität so dargestellt wird, als könne ein Modell daraus verallgemeinern (anstatt seltsame Artefakte auswendig zu lernen).

• Vermeiden Sie stille Fehlerarten wie Datenlecks und Diskrepanzen zwischen Trainings- und Bereitstellungsumgebungen (die Art von Fehlern, die bei der Validierung „hervorragend“ aussehen und dann in der Produktion zu Totalausfällen führen). [2]

• Beschleunige die Iteration, denn wiederholbare Transformationen sind jeden Tag der Woche besser als unübersichtliche Notizen im Notizbuch.

Außerdem liegt hier der Ursprung eines Großteils der „Model-Performance“. Wirklich erstaunlich viel. Manchmal fühlt es sich unfair an, aber so ist die Realität 🙃

---

Was zeichnet eine gute KI-Vorverarbeitungspipeline aus? ✅

Eine „gute Version“ der Vorverarbeitung weist üblicherweise folgende Eigenschaften auf:

• Reproduzierbar: gleiche Eingabe → gleiche Ausgabe (keine unerklärliche Zufälligkeit, es sei denn, es handelt sich um eine absichtliche Manipulation).

• Konsistenz beim Trainieren: Alles, was während des Trainings geschieht, wird während der Inferenz auf die gleiche Weise angewendet (gleiche angepasste Parameter, gleiche Kategorienzuordnungen, gleiche Tokenizer-Konfiguration usw.). [2]

• Leckagefrei: Nichts in der Evaluierung/im Test beeinflusst einen Anpassungsschritt . (Mehr zu dieser Falle später.) [2]

• Beobachtbar: Sie können überprüfen, was sich geändert hat (Feature-Statistiken, fehlende Werte, Kategorieanzahlen), sodass die Fehlersuche nicht auf Gefühlen basiert.

Wenn deine Vorverarbeitung aus einem Haufen Notebook-Zellen mit Namen wie „final_v7_wirklich_final_ok… dann weißt du, wie das ist. Es funktioniert, bis es eben nicht mehr funktioniert 😬

---

Kernbausteine ​​der KI-Vorverarbeitung 🧱

Betrachten Sie die Vorverarbeitung als eine Reihe von Bausteinen, die Sie zu einer Pipeline zusammenfügen.

1) Reinigung und Validierung 🧼

Typische Aufgaben:

• Duplikate entfernen

• Fehlende Werte behandeln (verwerfen, imputieren oder fehlende Werte explizit darstellen)

• Typen, Einheiten und Bereiche durchsetzen

• fehlerhafte Eingaben erkennen

• Standardisierung von Textformaten (Leerzeichen, Groß-/Kleinschreibungsregeln, Unicode-Besonderheiten)

Dieser Teil ist zwar nicht glamourös, aber er verhindert extrem dumme Fehler. Das meine ich mit Liebe.

2) Kodierung kategorischer Daten 🔤

Die meisten Modelle können nicht direkt mit Rohzeichenketten wie "red" oder "premium_user".

Gängige Vorgehensweisen:

• One-Hot-Codierung (Kategorie → Binärspalten) [1]

• Ordinale Kodierung (Kategorie → ganzzahlige ID) [1]

Entscheidend ist nicht die Wahl des Encoders, sondern dass die Abbildung konsistent bleibt und sich zwischen Training und Inferenz nicht verändert. So erhält man ein Modell, das offline gut aussieht, online aber fehlerhafte Ergebnisse liefert. [2]

3) Merkmalskalierung und Normalisierung 📏

Skalierung ist dann wichtig, wenn Features in völlig unterschiedlichen Bereichen liegen.

Zwei Klassiker:

• Standardisierung: Mittelwert entfernen und auf Einheitsvarianz skalieren [1]

• Min-Max-Skalierung: Skalierung jedes Merkmals in einen festgelegten Bereich [1]

Selbst wenn man Modelle verwendet, die „größtenteils zurechtkommen“, macht Skalierung Pipelines oft leichter nachvollziehbar – und erschwert das versehentliche Zerstören.

4) Feature Engineering (auch bekannt als nützliches Schummeln) 🧪

Hier erleichtern Sie dem Modell die Arbeit, indem Sie bessere Signale erzeugen:

• Verhältnisse (Klicks / Impressionen)

• gleitende Fenster (letzte N Tage)

• Anzahl (Ereignisse pro Benutzer)

• Logarithmische Transformationen für Verteilungen mit schweren Rändern

Das ist eine Kunst für sich. Manchmal kreiert man ein Feature, ist stolz darauf … und es bringt nichts. Oder schlimmer noch, es tut weh. Das ist normal. Hänge dich nicht emotional an Features – sie lieben dich nicht zurück 😅

5) Daten richtig aufteilen ✂️

Das klingt selbstverständlich, bis es das nicht mehr ist:

• Zufällige Aufteilungen für iid-Daten

• zeitbasierte Aufteilungen für Zeitreihen

• Gruppierte Aufteilungen bei sich wiederholenden Entitäten (Benutzer, Geräte, Patienten)

Und ganz entscheidend: Teilen Sie die Daten auf, bevor Sie eine Vorverarbeitung durchführen, die aus den Daten lernt. Wenn Ihr Vorverarbeitungsschritt Parameter „lernt“ (wie Mittelwerte, Vokabulare, Kategorienkarten), muss er diese ausschließlich aus dem Training lernen. [2]

---

KI-Vorverarbeitung nach Datentyp: Tabellen, Text, Bilder 🎛️

Die Vorverarbeitung ändert ihre Form je nachdem, was Sie dem Modell zuführen.

Tabellarische Daten (Tabellenkalkulationen, Protokolle, Datenbanken) 📊

Übliche Schritte:

• Strategie für fehlende Werte

• kategorische Kodierung [1]

• Skalierung numerischer Spalten [1]

• Ausreißerbehandlung (Domänenregeln sind dem „zufälligen Beschneiden“ in den meisten Fällen überlegen)

• Abgeleitete Merkmale (Aggregationen, Verzögerungen, gleitende Statistiken)

Praktischer Tipp: Definieren Sie Spaltengruppen explizit (numerisch vs. kategorisch vs. Bezeichner). Sie werden es später nicht bereuen.

Textdaten (NLP) 📝

Die Textvorverarbeitung umfasst häufig Folgendes:

• Tokenisierung in Tokens/Teilwörter

• Umwandlung in Eingabe-IDs

• Auffüllung/Abschneidung

• Erstellung von Aufmerksamkeitsmasken für die Stapelverarbeitung [3]

Eine kleine Regel, die viel Ärger erspart: Bei Transformer-basierten Setups sollten Sie die vom Modell vorgegebenen Tokenizer-Einstellungen befolgen und nicht improvisieren, es sei denn, Sie haben einen triftigen Grund. Improvisation führt nur dazu, dass das Training zwar funktioniert, aber seltsam ist

Bilder (Computer Vision) 🖼️

Typische Vorverarbeitung:

• Größe anpassen / zuschneiden, um einheitliche Formen zu erhalten

• deterministische Transformationen zur Auswertung

• Zufällige Transformationen zur Trainingserweiterung (z. B. zufälliges Zuschneiden) [4]

Ein Detail, das oft übersehen wird: „Zufällige Transformationen“ sind nicht nur ein Effekt – sie erfassen tatsächlich bei jedem Aufruf Parameter. Ideal für die Trainingsdiversität, aber ungeeignet für die Auswertung, wenn man vergisst, die Zufälligkeit zu deaktivieren. [4]

---

Die Falle, in die jeder tappt: Datenleck 🕳️🐍

Datenlecks entstehen, wenn Informationen aus den Evaluierungsdaten – oft durch Vorverarbeitung – in die Trainingsdaten gelangen. Dadurch kann Ihr Modell während der Validierung hervorragend aussehen, Sie aber in der Praxis enttäuschen.

Häufige Leckagemuster:

• Skalierung unter Verwendung von Statistiken des gesamten Datensatzes (anstatt nur der Trainingsdaten) [2]

• Erstellung von Kategorienkarten unter Verwendung von Trainings- und Testdaten [2]

• jeder fit()- oder fit_transform()- Schritt, der den Testdatensatz „sieht“ [2]

Faustregel (einfach, brutal, effektiv):

• Alles, was einen Fit -Step hat, sollte nur im Training als Fit verwendet werden.

• Anschließend transformieren die Validierung/den Test mithilfe dieses angepassten Transformators. [2]

Und falls Sie eine realistische Einschätzung wünschen: Die Dokumentation von scikit-learn zeigt ein Beispiel für Datenlecks, bei dem eine falsche Vorverarbeitungsreihenfolge zu einer Genauigkeit von etwa 0,76 bei zufälligen Zielen führt – die dann nach Behebung des Lecks wieder auf etwa0,5 . So überzeugend kann ein Datenleck aussehen. [2]

---

Die Vorverarbeitung ohne Chaos in die Produktion überführen 🏗️

Viele Modelle scheitern in der Produktion nicht, weil das Modell „schlecht“ ist, sondern weil sich die Realität der Eingabedaten ändert – oder weil sich Ihre Produktionspipeline ändert.

Eine produktionsorientierte Vorverarbeitung umfasst üblicherweise Folgendes:

• Gespeicherte Artefakte (Encoder-Mappings, Skalierungsparameter, Tokenizer-Konfiguration), sodass die Inferenz genau dieselben gelernten Transformationen verwendet [2]

• Strenge Eingabevorgaben (erwartete Spalten/Typen/Bereiche)

• Überwachung auf Schiefe und Drift, da Produktionsdaten können [5].

Für konkrete Definitionen: Googles Vertex AI Model Monitoring unterscheidet zwischen Trainings- und Bereitstellungs-Skew (die Produktionsverteilung weicht vom Trainingsdatensatz ab) und Inferenzdrift (die Produktionsverteilung ändert sich im Laufe der Zeit) und unterstützt die Überwachung sowohl für kategoriale als auch für numerische Merkmale. [5]

Denn Überraschungen sind teuer. Und zwar nicht die angenehme.

---

Vergleichstabelle: Gängige Tools für die Vorverarbeitung und Überwachung (und für wen sie geeignet sind) 🧰

Werkzeug / Bibliothek	Am besten geeignet für	Preis	Warum es funktioniert (und ein kleines bisschen Ehrlichkeit)
scikit-learn Vorverarbeitung	Tabellarische ML-Pipelines	Frei	Solide Encoder + Skalierer (OneHotEncoder, StandardScaler usw.) und vorhersehbares Verhalten [1]
Hugging Face Tokenizer	NLP-Eingabevorbereitung	Frei	Erzeugt konsistente Eingabe-IDs und Aufmerksamkeitsmasken über alle Läufe/Modelle hinweg [3]
torchvision transformiert	Vision transformiert + Erweiterung	Frei	Saubere Methode zum Mischen deterministischer und zufälliger Transformationen in einer Pipeline [4]
Vertex AI-Modellüberwachung	Drift-/Skew-Erkennung in der Produktion	Kostenpflichtig (Cloud)	Die Monitore verfügen über eine Skew-/Driftfunktion und geben Warnungen aus, wenn Schwellenwerte überschritten werden [5]

(Ja, die Gruppe hat immer noch Meinungen. Aber wenigstens sind es ehrliche Meinungen 😅)

---

Eine praktische Checkliste für die Vorverarbeitung, die Sie tatsächlich verwenden können 📌

Vor dem Training

• Definieren Sie ein Eingabeschema (Typen, Einheiten, zulässige Bereiche)

• Fehlende Werte und Duplikate prüfen

• Daten richtig aufteilen (zufällig / zeitbasiert / gruppiert)

• Fit-Vorverarbeitung nur auf dem Trainingsdatensatz ( fit / fit_transform bleibt auf dem Trainingsdatensatz) [2]

• Speichern Sie Vorverarbeitungsartefakte, damit die Inferenz sie wiederverwenden kann [2]

Während des Trainings

• Die zufällige Datenaugmentation sollte nur dann angewendet werden, wenn dies angebracht ist (in der Regel nur beim Trainingsdatensatz) [4]

• Die Auswertungsvorverarbeitung soll deterministisch bleiben [4]

• Vorverarbeitungsänderungen sollten wie Modelländerungen verfolgt werden (weil sie es sind)

Vor der Bereitstellung

• Sicherstellen, dass für die Inferenz der identische Vorverarbeitungspfad und die gleichen Artefakte verwendet werden [2]

• Richten Sie eine Drift-/Skew-Überwachung ein (schon einfache Überprüfungen der Merkmalsverteilung sind sehr hilfreich) [5]

---

Tiefer Einblick: Häufige Fehler bei der Datenvorverarbeitung (und wie man sie vermeidet) 🧯

Fehler 1: „Ich werde einfach schnell alles normalisieren“ 😵

Wenn Sie Skalierungsparameter auf dem gesamten Datensatz berechnen, geben Sie Evaluierungsinformationen preis. Trainieren Sie mit den Trainingsdaten und transformieren Sie den Rest. [2]

Fehler 2: Kategorien geraten ins Chaos 🧩

Wenn sich Ihre Kategorienzuordnung zwischen Training und Inferenz ändert, kann Ihr Modell die Realität unbemerkt falsch interpretieren. Halten Sie die Zuordnungen mithilfe gespeicherter Artefakte konstant. [2]

Fehler 3: Zufällige Augmentation schleicht sich in die Bewertung ein 🎲

Zufällige Transformationen sind im Training hervorragend, sollten aber nicht „heimlich aktiviert“ sein, wenn man die Leistung messen will. (Zufällig bedeutet zufällig.) [4]

---

Schlussbemerkungen 🧠✨

KI-Vorverarbeitung ist die systematische Kunst, unstrukturierte Realität in konsistente Modelleingaben umzuwandeln. Sie umfasst Bereinigung, Kodierung, Skalierung, Tokenisierung, Bildtransformationen und – am wichtigsten – wiederholbare Pipelines und Artefakte.

• Die Vorverarbeitung sollte bewusst und nicht beiläufig erfolgen. [2]

• Zuerst aufteilen, Transformationen nur auf Trainingsdaten anwenden, um Datenlecks zu vermeiden. [2]

• Verwenden Sie eine der Modalität angemessene Vorverarbeitung (Tokenisierer für Text, Transformationen für Bilder). [3][4]

• Überwachen Sie Produktionsabweichungen, damit Ihr Modell nicht langsam in Unsinn abdriftet. [5]

Und falls du mal nicht weiterkommst, frag dich:
„Wäre dieser Vorverarbeitungsschritt auch morgen noch sinnvoll, wenn ich ihn mit brandneuen Daten durchführen würde?“
Wenn die Antwort „Äh… vielleicht?“ lautet, dann hast du den entscheidenden Hinweis. 😬

Praxisbeispiel: Aufbau einer leckagefreien Vorverarbeitungspipeline zur Abwanderungsprognose

Szenario

Stellen Sie sich ein kleines SaaS-Team vor, das versucht vorherzusagen, welche Kunden in den nächsten 30 Tagen wahrscheinlich kündigen werden. Ihre Rohdaten befinden sich an drei Orten: Abrechnungsexporte, Produktnutzungsprotokolle und Support-Tickets.

Die erste Version des Modells sieht in der Validierung hervorragend aus, schneidet aber bei Tests mit den Daten eines neuen Kundenmonats schlecht ab. Das Problem liegt nicht in der Modellarchitektur, sondern in der Datenvorverarbeitung.

Das Team skalierte versehentlich numerische Merkmale anhand des gesamten Datensatzes, erstellte Kategorienzuordnungen aus Trainings- und Testdaten und fügte Support-Ticket-Tags hinzu, die erst nach der Stornierung hinzugefügt wurden. Ein klassischer Datenleckfehler. Ärgerlich, aber behebbar. [2]

Was die Pipeline braucht

Eine praktische Konfiguration würde Folgendes beinhalten:

• Festes Eingabeschema: Kunden-ID, Tarifart, Kontoalter (Tage), Anmeldungen (30 Tage), Tickets (30 Tage), letzter Zahlungsstatus, Region

• Eine zeitliche Aufteilung, zum Beispiel Training von Januar bis September und Tests im Oktober

• Die numerische Skalierung wurde nur auf den Trainingsdatensatz angewendet

• Kategorische Encoder wurden nur auf dem Trainingsdatensatz installiert

• Eine gespeicherte Vorverarbeitungspipeline, sodass die Produktion dieselben Mappings und Skalierungswerte verwendet

• Grundlegende Überwachung fehlender Spalten, nicht sichtbarer Kategorien und Verteilungsänderungen nach der Bereitstellung

Die Grundregel ist einfach: Zuerst die Daten aufteilen, dann die Vorverarbeitung durchführen. Alles, was aus den Daten lernt, sollte ausschließlich aus der Trainingsphase lernen. [2]

Beispielanleitung

Verwenden Sie dies als Arbeitsvorgabe für den Vorverarbeitungsschritt:

Entwickeln Sie eine Vorverarbeitungspipeline für ein Abwanderungsprognosemodell anhand von Kundenabrechnungs-, Nutzungs- und Supportdaten. Teilen Sie die Daten vor dem Anpassen von Transformationen zeitlich auf. Passen Sie numerische Skalierungsfunktionen und kategoriale Encoder ausschließlich an den Trainingsdaten an und wenden Sie diese Transformationen anschließend auf Validierungs- und Testdaten an. Speichern Sie alle Vorverarbeitungsartefakte, damit das Produktionsmodell dasselbe Schema, dieselben Kategoriezuordnungen und Skalierungsparameter verwendet. Kennzeichnen Sie fehlende Spalten, unerwartete Datentypen, unbekannte Kategorien und größere Verteilungsverschiebungen vor der Vorhersage.

Wie man es testet

Bevor Sie dem Modell vertrauen, testen Sie die Vorverarbeitungspipeline mit einigen absichtlich fehlerhaften Datensätzen:

• Ein Kunde mit einem Tarif, der in der Schulung nicht berücksichtigt wurde

• Eine Zeile mit fehlender Region oder fehlendem Zahlungsstatus

• Ein Kunde mit ungewöhnlich hoher Nutzung, beispielsweise 10.000 Anmeldungen in 30 Tagen

• Eine produktionsreife Datei mit Spalten in der falschen Reihenfolge

• Ein Testset für den Folgemonat, das während der Anpassung nie verwendet wurde

Überprüfen Sie dann drei Dinge:

• Läuft die Pipeline, ohne die Reihenfolge der Features zu ändern?

• Werden unbekannte Kategorien einheitlich behandelt?

• Sinkt die Validierungsleistung auf ein glaubwürdigeres Niveau, nachdem das Datenleck beseitigt wurde?

Dieser letzte Punkt ist wichtig. Ein verdächtig hoher Validierungswert deutet oft auf einen Fehler in der Vorverarbeitung hin, nicht auf ein Wunder.

Ergebnis

Beispielhaftes Ergebnis, basierend auf der Zeitmessung von fünf beispielhaften Vorverarbeitungsläufen vor und nach der Umwandlung von Notebook-Schritten in eine gespeicherte Pipeline:

• Die manuelle Vorverarbeitungszeit sank von 55 Minuten pro Datensatzaktualisierung auf 8 Minuten.

• Die Anzahl der Fehler in der Feature-Reihenfolge sank von 3 Fehlern in 5 Testaktualisierungen auf 0 Fehler in 5 Aktualisierungen.

• Die Genauigkeit der Validierung sank nach der Beseitigung der Leckage von 91 % auf 74 %, die Genauigkeit der Tests im Folgemonat verbesserte sich jedoch von 62 % auf 71 %.

• Das Team hat 6 automatisierte Prüfungen hinzugefügt: fehlende Spalten, ungültige Datentypen, unbekannte Kategorien, Änderung der Nullrate, Änderung des Zahlenbereichs und Diskrepanz zwischen Zugbelegungsschema und den Datenträgern.

Diese Zahlen stellen keinen universellen Vergleichsmaßstab dar. Es handelt sich um einfache Vorher-Nachher-Messungen, die ein Team reproduzieren kann, indem es Aktualisierungen zeitlich misst, fehlgeschlagene Durchläufe zählt und Validierungsergebnisse mit einem zurückgehaltenen Folgemonat vergleicht.

Was kann schiefgehen?

Das größte Risiko besteht darin, den Prozess lückenlos erscheinen zu lassen, während gleichzeitig unbemerkt Datenlecks bestehen bleiben. Beispielsweise mag die Angabe der Tage seit der letzten Kündigungsbenachrichtigung auf den ersten Blick wertvoll erscheinen, doch wenn diese E-Mail erst nach einer internen Überprüfung der Kundenabwanderung versendet wird, könnten zukünftige Erkenntnisse preisgegeben werden.

Weitere häufige Fallen:

• Encoder in der Produktion neu einbauen, anstatt gespeicherte Zuordnungen zu laden

• Neue Kategorien verschieben stillschweigend die Positionen der Funktionen

• Testen einer zufälligen Aufteilung, wenn die eigentliche Aufgabe zeitbasiert ist

• Zeilen mit fehlenden Werten werden im Trainingsmodell verworfen, bei der Inferenz jedoch nicht behandelt

• Überwachung der Modellgenauigkeit unter Vernachlässigung der Eingangsabweichung

Praktische Erkenntnisse

Eine gute Vorverarbeitungspipeline leistet mehr als nur die Bereinigung von Rohdaten. Sie schützt das Modell vor Fehlbewertungen, fehlerhaften Produktionsdaten und schleichendem, unbemerktem Drift. Bei einem Churn-Modell liegt der Unterschied zwischen einer durchdachten und einer zuverlässigen Vorverarbeitung oft darin, ob dieselben angepassten Transformationen immer wieder verwendet werden, insbesondere wenn die Daten aus einem Monat stammen, den das Modell noch nie zuvor gesehen hat.

---

Häufig gestellte Fragen

Was ist KI-Vorverarbeitung, einfach ausgedrückt?

Die KI-Vorverarbeitung ist eine wiederholbare Abfolge von Schritten, die verrauschte, stark variierende Rohdaten in konsistente Eingabedaten umwandelt, aus denen ein Modell lernen kann. Dazu gehören Bereinigung, Validierung, Kategorisierung, Skalierung numerischer Werte, Tokenisierung von Text und Bildtransformationen. Ziel ist es, sicherzustellen, dass Training und Produktivbetrieb mit denselben Eingabedaten arbeiten, damit das Modell später kein unvorhersehbares Verhalten zeigt.

Warum ist die KI-Vorverarbeitung in der Produktion so wichtig?

Die Vorverarbeitung ist wichtig, da Modelle empfindlich auf die Repräsentation der Eingabedaten reagieren. Werden Trainingsdaten anders skaliert, kodiert, tokenisiert oder transformiert als Produktionsdaten, kann es zu Diskrepanzen zwischen Trainings- und Produktionsdaten kommen, die offline unauffällig erscheinen, online jedoch unbemerkt zu Fehlern führen. Leistungsstarke Vorverarbeitungspipelines reduzieren zudem Rauschen, verbessern die Stabilität des Lernprozesses und beschleunigen die Iteration, da unübersichtliche Notebook-Daten vermieden werden.

Wie kann ich Datenlecks bei der Vorverarbeitung vermeiden?

Eine einfache Regel funktioniert: Alle Funktionen mit einem Fit -Schritt dürfen nur mit Trainingsdaten trainiert werden. Das gilt für Skalierer, Encoder und Tokenisierer, die Parameter wie Mittelwerte, Kategorienkarten oder Vokabulare lernen. Man teilt die Daten zunächst auf, trainiert sie mit den Trainingsdaten und transformiert anschließend Validierungs- und Testdaten mithilfe des trainierten Transformers. Datenlecks können dazu führen, dass Validierungsdaten scheinbar perfekt aussehen, im Produktiveinsatz jedoch versagen.

Was sind die gängigsten Vorverarbeitungsschritte für tabellarische Daten?

Bei tabellarischen Daten umfasst die übliche Verarbeitungspipeline die Bereinigung und Validierung (Datentypen, Bereiche, fehlende Werte), die Kategorisierung (One-Hot- oder Ordinalkodierung) und die numerische Skalierung (Standardisierung oder Min-Max-Skalierung). Viele Pipelines ergänzen diese um domänenspezifische Merkmalsentwicklung wie Verhältnisse, gleitende Fenster oder Zählungen. Es empfiehlt sich, Spaltengruppen explizit zu definieren (numerisch vs. kategorisch vs. Identifikatoren), um die Konsistenz der Transformationen zu gewährleisten.

Wie funktioniert die Vorverarbeitung von Textmodellen?

Die Textvorverarbeitung umfasst typischerweise die Tokenisierung in Tokens/Teilwörter, deren Umwandlung in Eingabe-IDs und die Behandlung von Padding/Truncation für die Batchverarbeitung. Viele Transformer-Workflows erstellen zusätzlich zu den IDs eine Aufmerksamkeitsmaske. Üblicherweise verwendet man die vom Modell erwartete Tokenizer-Konfiguration anstatt zu improvisieren, da bereits kleine Unterschiede in den Tokenizer-Einstellungen zu unvorhersehbarem Verhalten führen können.

Was ist das Besondere an der Vorverarbeitung von Bildern für maschinelles Lernen?

Die Bildvorverarbeitung gewährleistet üblicherweise konsistente Formen und eine korrekte Pixelbehandlung: Größenänderung/Zuschneiden, Normalisierung und eine klare Trennung zwischen deterministischen und zufälligen Transformationen. Für die Evaluierung sollten die Transformationen deterministisch sein, um vergleichbare Metriken zu gewährleisten. Beim Training kann eine zufällige Datenaugmentation (wie zufälliges Zuschneiden) die Robustheit verbessern, die Zufälligkeit muss jedoch gezielt auf den Trainingsdatensatz beschränkt werden und darf nicht versehentlich während der Evaluierung aktiviert bleiben.

Was macht eine Vorverarbeitungspipeline „gut“ statt fehleranfällig?

Eine gute KI-Vorverarbeitungspipeline ist reproduzierbar, fehlerfrei und beobachtbar. Reproduzierbar bedeutet, dass dieselbe Eingabe dieselbe Ausgabe erzeugt, es sei denn, Zufallselemente werden bewusst hinzugefügt. Fehlerfrei bedeutet, dass die Trainingsschritte niemals Validierungs- oder Testdaten berühren. Beobachtbar bedeutet, dass Statistiken wie fehlende Werte, Kategorienanzahlen und Merkmalsverteilungen eingesehen werden können, sodass die Fehlersuche auf Fakten und nicht auf Intuition basiert. Pipelines sind Ad-hoc-Notebook-Sequenzen stets überlegen.

Wie kann ich sicherstellen, dass die Vorverarbeitung von Training und Inferenz konsistent bleibt?

Der Schlüssel liegt darin, die exakt gleichen gelernten Artefakte zur Inferenzzeit wiederzuverwenden: Skalierungsparameter, Encoder-Mappings und Tokenizer-Konfigurationen. Außerdem benötigen Sie einen Eingabevertrag (erwartete Spalten, Typen und Bereiche), damit Produktionsdaten nicht unbemerkt ungültige Formen annehmen können. Konsistenz bedeutet nicht nur „die gleichen Schritte ausführen“, sondern „die gleichen Schritte mit denselben angepassten Parametern und Mappings ausführen“

Wie kann ich Vorverarbeitungsprobleme wie Drift und Verzerrung im Laufe der Zeit überwachen?

Selbst bei einer stabilen Datenpipeline ändern sich Produktionsdaten. Ein gängiger Ansatz ist die Überwachung von Änderungen in der Merkmalsverteilung und die Alarmierung bei Abweichungen zwischen Trainings- und Produktionsdaten (Abweichung der Produktionsdaten von den Trainingsdaten) sowie bei Inferenzdrift (Änderungen der Produktionsdaten im Zeitverlauf). Die Überwachung kann einfach (einfache Verteilungsprüfungen) oder komplex (wie z. B. Vertex AI Model Monitoring) erfolgen. Ziel ist es, Änderungen der Eingangsdaten frühzeitig zu erkennen, bevor sie die Modellleistung schleichend beeinträchtigen.

Referenzen

[1] scikit-learn API: sklearn.preprocessing (Encoder, Skalierer, Normalisierung)
[2] scikit-learn: Häufige Fehler – Datenlecks und wie man sie vermeidet
[3] Hugging Face Transformers-Dokumentation: Tokenizer (Eingabe-IDs, Aufmerksamkeitsmasken)
[4] PyTorch Torchvision-Dokumentation: Transformationen (Größenänderung/Normalisierung + Zufallstransformationen)
[5] Google Cloud Vertex AI-Dokumentation: Modellüberwachung – Übersicht (Feature-Skew & -Drift)

Entdecken Sie die neuesten KI-Lösungen im offiziellen KI-Assistenten-Shop

Über uns