Kleine Veränderungen können ein großer Gewinn sein. Doch dafür muss man richtig testen. Dabei kommt es aber nicht nur auf gute Planung an, sondern auch auf eine "Kultur des Experimentierens"´, meint Henning Dittmer, Senior Director DACH bei Optimizely, im Interview mit etailment.

Die Optimierung der digitalen Kanäle wird immer wichtiger. Viele Unternehmen konzentrieren sich dabei auf das Front-End. Was übersehen sie bei ihren A/B-Tests?
Henning Dittmer: Customer Experience besteht nur auf den ersten Blick aus Frontend-Elementen wie Layout, UI, Schaltflächen, Farben, Text, Bildern. Viele relevante Aspekte werden im Backend und über Daten gestaltet, beispielweise Suchalgorithmen, Sortiermöglichkeiten, Empfehlungen, Personalisierung oder Preisgestaltungs-Algorithmen.
Die Trennung in Front- und Backend ist nicht mehr zeitgemäß, es geht darum die Customer Journey über mehrere Geräte konsistent zu gestalten. Den Kunden interessiert nicht, ob die Experience im Front- oder Backend entsteht, er möchte die für sich beste Option sehen. Daher sollte sich auch das Testing auf alle Aspekte der Digital Experience beziehen.

A/B-Test ist doch auch ein irreführender Begriff. Es geht doch meist um mehr als nur zwei Alternativen?
Ja und nein. Wir analysieren Hunderttausende von Tests und bei einer Analyse haben wir vor einiger Zeit herausgefunden, dass tatsächlich 77% nur aus zwei Varianten bestehen. Der Begriff A/B-Test spiegelt also die Realität wieder, denn nur ein Viertel der untersuchten Tests hat mehr als die Variante A und B.
 
Warum sind mehr Optionen sinnvoll?
Tests mit mehr Variationen haben eine höhere Chance zu gewinnen! Im Vergleich hat ein Test mit 5 oder mehr Variationen sogar eine 75% höhere Chance einen signifikanten Gewinner zu ermitteln. Viel wichtiger ist, dass es beim Testen nicht nur darum geht, ob eine Veränderung funktioniert, sondern herauszufinden, welche Veränderung die beste Veränderung ist.
Außerdem bedeuten mehr Variationen auch, dass man mehr Risiko eingehen kann.

Prime Now in München
© Amazon
Innovation

Das kleine Geheimnis, warum Amazon Prime Now in 111 Tagen fertig war

Da die Wahrscheinlichkeit viel höher ist, eine gewinnbringende Veränderung zu ermitteln, kann man auch weiterreichende Ideen testen und herausfinden, was wirklich funktioniert. Im Großen und Ganzen bedeuten mehr Variationen mehr Raum für Innovation und Kreativität, und die Chance, die beste Lösung zu ermitteln.  

Die einen nutzen Marktforschung, die anderen schauen auf KPI. Wie findet man heraus, was Kunden wirklich möchten?
Marktforschung, UX und Analytics sind ausgezeichnete Möglichkeiten, um sich dem Kunden und seinen Wünschen anzunähern. Für uns fehlt allerdings ein Puzzleteil und zwar Testing oder auch Experimentation, wie die Methode in den USA genannt wird, wo sie ursprünglich herkommt.

"Testing ist das fehlende Puzzleteil, um sich den Wünschen der Kunden anzunähern."

Digital Experimentation ist ein verlässliches Verfahren, um die Auswirkungen von neuen Experiences, Kampagnen und Features zu verstehen. Experimentation nutzt digitale Experimente als Datenerhebungsmethode, um zu überprüfen, ob die Ideen, die aus den anderen Methoden gewonnen wurde, funktionieren. Mit kontrollierten Online-Experimenten schaffen sie statistisch gesicherte Fakten und ermöglichen so eine datengestützte Prognose, ob sich ein Maßnahme positiv auf die Unternehmenskennzahlen auswirken würde.

Wie führe ich denn die unterschiedlichen Abteilungen und Silos zusammen, um ein einheitliches Bild zu bekommen?
Die Grundlage ist eine vernünftige Datenstruktur. Doch bevor ich diese erstellen kann, muss ich definieren, welche Ziele ich verfolge und wen ich mit meinen digitalen Kanälen erreichen möchte. Dann kann man überlegen, wie diese Daten gemessen werden können und so entsteht ein Datengerüst, welches in den meisten Fällen von Teams oder Spezialisten aus dem Bereich Analytics, Business Intelligence oder Data Science erstellt wird.
Der Wunsch nach Testing hingegen entsteht meist in einer Fachabteilung wie Marketing oder Product Development. Deren KPI (z.B. Kaufabbrüche oder Content, der nicht genutzt wird) sollten im Idealfall auf dem Grundgerüst aufsetzen und aggregierbar sein.
Nur wenn das sauber aufgestellt ist, weiß ich auch, wo etwas zu optimieren ist, welche Stellschrauben man bedienen kann und ob die Änderung wirkt.

Wenn es um spezifische Fragestellungen geht, können die Daten in einem Team gemessen werden. Doch sobald mehrere Teams Testen möchten, geht es darum, nicht nur operative, sondern auch strategische Daten im Blick zu haben. Wenn das Datengerüst stimmt, kann so erst teamübergreifend das Thema Testing weitergetrieben werden und schnell auch in Richtung Management, denn dank der Daten, gibt es einen klaren Bezug zu den Geschäftszielen.

Wie teste ich planvoll und wie verhindere ich, dass ich mich in einer endlosen Testschleife wiederfinde?
Nehmen wir an, Sie haben eine Liste von Ideen, dann können Sie diese so priorisieren, wie Sie das mit jedem anderen Projekt auch tun würden. Es gibt eine Vielzahl von Priorisierungsmodellen, am Bekanntesten ist wahrscheinlich eine Kosten-Nutzen-Analyse. Um die endlose Testschleife zu vermeiden, gilt es Ergebnisse sauber zu analysieren und in ein Verhältnis zu den messbaren Zielen zu setzen.

Drei Beispiel: Wenn es viele signifikant positive Ergebnisse gibt, bedeutet es, dass die Änderungen relevant für die Nutzer sind und in die richtige Richtung gehen. Da  testet man gemeinhin weiter, um zu sehen, wie weit man die Optimierung treiben kann, solange sich der Aufwand lohnt.

"Experimentation ähnelt dem Aufstieg zu einem Berggipfel."

Wenn es hingegen nach drei oder vier Iterationen immer nur zu negativen Ergebnissen kommt, wird ein Bereich getestet, der für die Nutzer richtig ist und wahrscheinlich ist das Original schon sehr gut, dann kann man das Testen getrost sein lassen.
Wenn man unschlüssige Ergebnisse hat, kann es entweder sein, dass die Änderung nicht gravierend genug ist oder aber dass das Problem, das identifiziert wurde, für die User nicht relevant ist. In diesem Fall kann man einen letzten Versuch mit einer drastischen, aber sinnvollen Änderung starten und wenn es wieder zu keinem schlüssigen Ergebnis kommt, kann man das Thema ruhen lassen.

Experimente muss man auch wollen. Wie können Unternehmen eine "Kultur des Experimentierens" schaffen?
Bei Optimizely vergleichen wir Experimentation gerne mit dem Aufstieg zu einem Berggipfel. Die Optimierungsreise führt von den ersten Schritten mit Experimentation bis hin zum Aufbau einer echten Kultur des Experimentierens. Dabei müssen Sie sich auf folgende Herausforderungen gefasst machen: Der Aufbau eines engagierten Experimentation-Teams. Die Entwicklung einer Experimentation-Strategie, die das Team umsetzen kann. Die Einführung einer Technologie für die effektive Umsetzung der Strategie und der Aufbau einer Kultur des Experimentierens im gesamten Unternehmen.
Je höher das Level ist, das Sie auf Ihrer Reise erreicht haben, desto wichtiger wird Experimentation für Ihren Geschäftserfolg. Aber auch wenn Sie gerade die ersten Schritte absolvieren, bekommen Sie zumindest einen Eindruck davon, was möglich ist, wenn Sie sich auf dem richtigen Weg befinden.

Die Anforderungen verändern sich heute viel schneller als früher. Wie oft muss man experimentieren?
Solange Sie sich weiterentwickeln möchten, werden Sie auch testen.

Wie entwickle ich überhaupt eine Idee für die passenden Experimente?   
Die meisten Ideen entstehen aus den vorhandenen Analytics-Daten wie z.B. Kaufabbrüchen. Aber natürlich sind auch Nutzerumfragen, Chat-Tools, Marktforschungsergebnisse und ähnliches eine hervorragende Quellen für Test-Ideen.
Wichtig ist: Sobald ein Problem identifiziert ist, gilt es, sich in den Nutzer hineinzuversetzen, um herauszufinden, was nicht stimmen könnte. Dann geht es darum, Lösungen zu finden, die Varianten, die man testen wird. Und bevor man loslegt, muss bestimmt werden, wie Erfolg gemessen wird, was sich oft aus den Ursprungsdaten ergibt, also z.B. Rückgang von Kundenbeschwerden und von Kaufabbrüchen.

Was kann man denn am Ende von solchen Experimenten erwarten? Die große neue Idee oder bessere kleine Stellschrauben.
Beides. Mit einem Ansatz von „überall testen“ lässt sich sowohl auf große, grundlegende Änderungen - denken Sie an neue Produkte, Märkte oder Geschäftsmodelle - als auch auf kleine, schrittweise Verbesserungen, die im Laufe der Zeit einen wirklichen Unterschied machen, anwenden. Ob Ihnen der ganz große Wurf gelingt oder nicht, mit kontinuierlichen Tests bleiben Sie auf dem neuesten Stand dank inkrementeller Innovationen.
MEHR ZUM THEMA:

Ömer Atiker
© Simone Scardovelli
Digitalisierung

Ömer Atiker: Innovation passiert nicht im Bällebad


© gratisography
Zenners Zwischenruf

KI: Zwischen Alchemie und Fortschritts-Folklore


Keine Angst vor großen Flops: Jeff Bezos
© Amazon
etailment-Klassiker

Die dicksten Flops von Amazon