MLOps

Was MLOps bedeutet

MLOps umfasst die Verfahren, mit denen ein Modell im Betrieb gehalten wird. Der Begriff entsteht aus der Verbindung von Modellentwicklung und Betrieb, weil Modelle sich anders verhalten als herkömmliche Software. Sie werden nicht fertig, sondern lassen nach, und sie müssen aktualisiert werden, weil sich die Daten verändert haben.

Der Unterschied zur Entwicklung ist organisatorisch. Ein einmal gebautes Modell ist ein Projekt, ein betriebenes Modell ist eine Aufgabe. Wer nur die Entwicklung plant, hat nach einigen Monaten mehrere Modelle im Einsatz, deren Zustand niemand kennt.

Die vier Grundlagen

• Versionierung: Zu jedem Modell gehört eine Kennung, dazu die verwendeten Daten, die Einstellungen und das Datum. Ohne diese Angaben lässt sich später nicht nachvollziehen, warum sich Ergebnisse geändert haben.
• Kontrolle: Je Modell eine Kennzahl, ein Rhythmus und ein Schwellenwert, ab dem geprüft wird. Ohne Schwellenwert gibt es kein Alarmsignal.
• Nachlernen: Ein geplanter Zyklus, in dem mit aktuellen Daten neu trainiert wird. Geplant heißt hier terminiert, nicht bei Bedarf.
• Rücknahme: Eine Fähigkeit, ein Modell abzuschalten und zum vorherigen Zustand zurückzukehren. Das ist die wichtigste und am häufigsten fehlende Grundlage.

Warum die Datenaufbereitung den größten Anteil hat

In der Praxis entfällt der größte Teil der Arbeit nicht auf das Modell, sondern auf die Daten davor. Merkmale müssen aus Bestellungen, Sitzungen und Produktdaten gebildet werden, und diese Bildung ist selbst ein Programm, das gepflegt werden muss. Ändert ein Warenwirtschaftssystem ein Feld, ändern sich die Merkmale, und das Modell erhält plötzlich andere Werte als beim Training.

Der Unterschied zwischen Training und Betrieb ist hier besonders heikel. Werden Merkmale im Betrieb anders berechnet als im Training, sinkt die Genauigkeit ohne erkennbaren Fehler, weil das Modell weiterhin Werte erhält, nur andere als erwartet. Die Regel dagegen ist einfach: Die Merkmalsbildung muss für Training und Betrieb derselbe Code sein, nicht eine Nachbildung.

Was im Shop realistisch ist

Ein vollständiger Betrieb mit automatischer Auslieferung mehrerer Modellvarianten ist für die meisten Händler unnötig. Realistisch sind vier Dinge. Erstens ein Verzeichnis aller Modelle und Regeln, die im Einsatz sind. Zweitens eine Kennzahl je Modell mit Schwellenwert. Drittens ein terminierter Nachlernzyklus, häufig vierteljährlich. Viertens eine dokumentierte Abschaltung für jedes Modell, damit ein schlechtes Ergebnis nicht in einer Notfallrunde besprochen werden muss.

Die häufigste Ursache für enttäuschende Ergebnisse ist nicht die Modelleistung, sondern der Zustand nach sechs Monaten. Ein Modell mit mittelmäßiger Genauigkeit, das gepflegt wird, ist wertvoller als ein gutes Modell, das niemand beobachtet.