A/B-Testing

Was A/B-Testing bedeutet

Beim A/B-Testing laufen zwei Varianten einer Seite gleichzeitig, und die Besucher werden zufällig auf beide verteilt. Danach wird verglichen, welche Variante das Ziel häufiger erreicht. Der Vorteil gegenüber dem Vorher-Nachher-Vergleich liegt in der Gleichzeitigkeit: Wetter, Feiertage, Kampagnen und Saisonspitzen treffen beide Gruppen, deshalb lassen sie sich nicht mehr als Erklärung anführen.

Wie ein Test aufgesetzt wird

Ein Test beginnt mit einer Frage, nicht mit einer Idee für ein Design. Sinnvoll ist die Form: Wenn ich den Versandhinweis auf die Produktseite setze, sinkt die Zahl der Abbrüche im Checkout. Daraus folgt, was gemessen wird, nämlich die Abbruchquote und nicht die Verweildauer. Ohne diese Vorabfestlegung wird am Ende die Zahl gesucht, die besser aussieht.

Die Fallstricke, die Ergebnisse entwerten

• Zu früh abgelesen: Zur Halbzeit führt fast immer eine Variante. Wer dann stoppt, entscheidet nach Zufall.
• Zu wenig Besucher: Bei geringem Verkehr dauert ein Test Wochen oder liefert nie ein Ergebnis. Die nötige Menge hängt vom erwarteten Unterschied ab, nicht von der Geduld.
• Mehrere Änderungen gleichzeitig: Wer Titel, Bild und Button zugleich ändert, weiß danach nur, dass das Paket gewirkt hat, nicht welcher Teil.
• Falsches Ziel: Ein Test auf Klicks kann die Klickrate heben und die Conversion senken.
• Ungleiche Verteilung: Werbeverkehr darf nicht auf eine Variante konzentriert werden.

Welche Tests sich lohnen

Nicht alles ist einen Test wert. Große Eingriffe in den Kaufweg rechtfertigen den Aufwand, etwa Versandhinweise, Feldzahl im Checkout, Position der Kaufschaltfläche oder Preiswahrnehmung. Kleine Änderungen an Farben und Formulierungen liefern Ergebnisse, die sich selten wiederholen und deshalb wenig wert sind. Bei geringem Verkehr ist es sinnvoller, bewährte Muster zu übernehmen, als eigene Tests zu fahren.

Was danach zu tun ist

Die Wirkung eines Tests ist nicht dauerhaft. Kunden gewöhnen sich an neue Elemente, und der Effekt verpufft nach einiger Zeit. Wer den Gewinner ausspielt, sollte die Zahl nach einigen Wochen nachsehen und den nächsten Test darauf aufsetzen. Testen ist damit ein laufender Prozess und kein Projekt mit einem Ende.

Häufige Fragen

• Wie viele Besucher brauche ich? Das hängt von der erwarteten Verbesserung ab. Kleine Effekte brauchen ein Vielfaches an Verkehr.
• Geht das ohne Werkzeug? Mit zwei Shopversionen und auswertbarer Verteilung grundsätzlich ja, praktisch ist es fehleranfällig.
• Was, wenn beide gleich sind? Dann ist die Änderung bedeutungslos. Das ist ein Ergebnis.