Model Drift

Was Model Drift ist

Model Drift bedeutet, dass die Genauigkeit eines Modells über die Zeit nachlässt, obwohl am Modell selbst nichts geändert wurde. Der Grund liegt außerhalb: Die Welt, aus der die Daten stammen, hat sich bewegt, das Modell nicht. Ein Modell, das im Frühjahr gelernt hat, welche Kunden zurückkommen, trifft im Winter auf ein anderes Kaufverhalten.

Das ist kein Fehler der Methode, sondern eine Eigenschaft. Jedes Modell beschreibt einen Zustand, der zum Zeitpunkt des Trainings galt. Ohne Überwachung ist der Verfall unsichtbar, weil das Modell weiterhin Ergebnisse liefert, nur schlechtere.

Welche Formen unterschieden werden

• Datenverschiebung: Die Eingabewerte verändern sich. Ein neues Werbenetzwerk bringt eine jüngere Zielgruppe, plötzlich sehen die Merkmale anders aus als in den Trainingsdaten.
• Zusammenhangsverschiebung: Die Eingabewerte bleiben gleich, aber ihre Bedeutung ändert sich. Ein Rabatt führte früher zu mehr Käufen, in einem Markt mit hoher Inflation tut er es nicht mehr.
• Rückkopplung: Das Modell beeinflusst die Daten, aus denen es lernt. Ein Empfehlungssystem zeigt nur noch Artikel, die es bereits kennt, und verengt damit seinen eigenen Lernstoff.
• Saison und Sonderfall: Verzerrungen durch Jahreszeiten, Feiertage oder eine einmalige Aktion. Kein dauerhafter Verfall, aber im Jahresvergleich nicht unterscheidbar.

Woran man Drift erkennt

Zwei Wege sind üblich. Der erste ist die direkte Kontrolle der Genauigkeit: Sobald die tatsächlichen Ergebnisse vorliegen, wird verglichen, wie gut das Modell vorhergesagt hat. Das funktioniert nur, wenn das Ergebnis zeitnah bekannt wird, also etwa beim Prognosemodell für Retouren, nicht beim Modell für Zahlungsausfälle über 90 Tage.

Der zweite Weg ist die Beobachtung der Eingaben. Wenn sich die Verteilung der Merkmale verschiebt, etwa der Anteil neuer Kunden oder die Geräteverteilung, ist Drift wahrscheinlich, auch ohne bekannte Ergebnisse. Dieser Weg ist schneller, weil er keine Wartezeit braucht. Beide Wege zusammen sind wirksamer als einer allein.

Was dagegen hilft

Drei Maßnahmen bilden den Kern. Erstens eine feste Kontrollgröße je Modell, die mit einem festen Rhythmus gemessen wird, plus ein definierter Schwellenwert, ab dem eine Prüfung ausgelöst wird. Ein Modell ohne Schwellenwert hat kein Alarmsignal. Zweitens eine feste Aktualisierung, also ein Nachlernen mit aktuellen Daten in regelmäßigem Abstand, damit Drift nicht erst erkannt werden muss, um behoben zu werden.

Drittens eine einfache Rückfallebene. Läuft ein Modell schlecht, muss es abschaltbar sein, ohne dass der Shop steht. Bei einem Preisoptimierer ist das die Rückkehr zu festen Regeln, bei einer Empfehlung die Rückkehr zur meistverkauften Ware. Wer kein Abschalten vorgesehen hat, muss den Ausfall aussitzen, und genau das macht ein schlechtes Modell teurer als ein fehlendes.