A/B Testing Agentur gesucht? Agenturen für A/B Testing im Vergleich

A/B Testing Agentur: vom Verdacht zur belastbaren Entscheidung

Bevor jemand eine Variante baut, liegt eine Aufgabe bei dir: Du musst sagen können, welche Entscheidung ein Test absichern soll. Soll das neue Bestellformular bleiben? Wer diese Frage mitbringt, dazu Zugang zur Webanalyse und eine grobe Vorstellung vom eigenen Besucheraufkommen, gibt einer A/B Testing Agentur das Material, mit dem sie arbeiten kann.

Diese Seite handelt vom Testen selbst: Hypothese, Varianten, Stichprobe, Laufzeit, Auswertung. Wer die gesamte Nutzerführung untersuchen und umbauen lassen will, von der Nutzerforschung bis zur neuen Seitenstruktur, landet eher bei einer Conversion Optimierung Agentur, die als eigene Facette im Verzeichnis steht.

Ohne Hypothese ist ein Test nur ein Münzwurf

Eine brauchbare Hypothese hat drei Teile: eine Beobachtung, eine Änderung und eine erwartete Wirkung auf eine bestimmte Kennzahl. „Viele brechen im Warenkorb ab, weil die Versandkosten erst am Ende erscheinen; zeigen wir sie früher, schließen mehr Besucher die Bestellung ab.“ Daraus lässt sich ein Test bauen, aus „die Seite wirkt altmodisch“ nicht. Das Material dafür stammt aus der Webanalyse, aus Anfragen an deinen Kundendienst und aus Nutzerbefragungen. Das beauftragte Team ordnet diese Hinweise nach erwartetem Nutzen und Aufwand. Welche Frage zuerst drankommt, entscheidest du.

Wie viele Varianten verträgt ein Experiment?

Der klassische Aufbau stellt der aktuellen Fassung genau eine Alternative gegenüber. Je mehr Varianten gleichzeitig laufen, desto mehr Besucher braucht jede einzelne, bis sich ein Unterschied zeigt. Multivariate Tests, die mehrere Elemente kombiniert verändern, verlangen entsprechend viel Verkehr und kommen deshalb vor allem für stark besuchte Seiten in Frage. Ebenso wichtig ist der Zuschnitt der Änderung: Wer Überschrift, Bild und Schaltfläche auf einmal austauscht, erfährt am Ende, ob die neue Fassung besser oder schlechter abschneidet, aber nicht, warum. Beim Vergleich zweier ganzer Seitenentwürfe ist genau das gewollt; es sollte nur vorher klar sein, welche Antwort du erwartest.

Stichprobe und Laufzeit hängen an deinem Traffic, nicht am Kalender

Eine pauschale Testdauer gibt es nicht. Die nötige Stichprobe ergibt sich aus drei Größen: wie häufig die gewünschte Handlung heute schon vorkommt, wie klein der Unterschied ist, den du noch erkennen willst, und wie viele Besucher die getestete Seite erreicht. Daraus rechnet das Team vor dem Start aus, wie viele Besuche je Variante nötig sind, und legt die Laufzeit fest. Sie sollte ganze Wochen umfassen, damit Wochentage mit anderem Verhalten gleich oft vorkommen, und nicht ungewollt in einen Schlussverkauf oder eine große Kampagne fallen. Zeigt die Rechnung, dass deine Seite die nötige Menge in vertretbarer Zeit nicht erreicht, ist das ein ehrlicher Befund: Dann helfen eher deutlichere Änderungen, eine Kennzahl weiter vorn im Ablauf oder andere Methoden als das Experiment.

Wann gilt eine Variante als besser, und wann bleibt die Frage offen?

Ausgewertet wird gegen die Kennzahl, die vor dem Start als Hauptziel festgelegt wurde, etwa abgeschlossene Bestellungen oder abgeschickte Formulare. Daneben stehen Kontrollgrößen, die sich nicht verschlechtern dürfen, zum Beispiel Rücksendungen oder Stornierungen. Eine sorgfältige Auswertung nennt nicht nur einen Sieger, sondern auch die Spanne, in der der tatsächliche Effekt wahrscheinlich liegt. Ob klassisch oder bayessch gerechnet wird, lass dir erklären, bevor Ergebnisse vorliegen. Ein Test ohne klaren Unterschied ist kein Fehlschlag: Er zeigt, dass die Änderung die Kennzahl nicht spürbar bewegt, und bewahrt dich vor einer Umsetzung ohne Wirkung.

Wenn ein Ergebnis zu früh gut aussieht

Ein verbreiteter Fehler ist das vorzeitige Beenden. Wer täglich auf die Zahlen schaut und abbricht, sobald eine Variante vorn liegt, erklärt Zufallsschwankungen zu Erfolgen. Ähnlich wirkt das nachträgliche Suchen in Teilgruppen, bis irgendein Segment einen Unterschied zeigt. Weitere Stolpersteine sind ein Neuheitseffekt, der nach der ersten Gewöhnung verfliegt, ungleich auf die Varianten verteilte Besucher, die auf einen technischen Fehler hindeuten, ein kurzes Aufflackern der Originalseite vor der Variante sowie Tests, die sich auf derselben Seite überschneiden. Frag eine A/B Testing Agentur, wie sie diese Fälle erkennt und was sie dann tut.

Ausspielen im Browser oder auf dem Server

Technisch gibt es zwei Gattungen von Werkzeugen. Clientseitige Testwerkzeuge verändern die Seite im Browser des Besuchers, oft über einen visuellen Editor; sie sind rasch eingerichtet, stoßen aber bei Ladezeit, Flackern und tiefen Eingriffen an Grenzen. Serverseitige Testframeworks und Systeme für Feature-Flags liefern die Variante bereits aus deiner Anwendung aus und verlangen dafür Arbeit im Code, meist gemeinsam mit deinem Entwicklerteam. Hinzu kommen Webanalyse und Statistikrechner. Weil Tests Besucher zuordnen und Daten erheben, spielt die Einwilligung in Cookies und Tracking eine Rolle. Die Vorgaben unterscheiden sich zwischen Deutschland, Österreich und der Schweiz und hängen vom Einzelfall ab; dieser Hinweis ist keine Rechtsberatung. Klär die Frage mit fachkundiger Unterstützung, bevor das erste Experiment startet.

Je Test oder je Monat: wie Angebote einer A/B Testing Agentur aufgebaut sind

Manche Aufträge umfassen einen einzelnen Test zu einer konkreten Frage, andere ein laufendes Programm mit vereinbarter Zahl an Experimenten je Zeitraum. Das eine lässt sich nach Aufwand oder pauschal je Test kalkulieren, das andere über eine monatliche Betreuung. Für den Vergleich zählt, was enthalten ist: Analyse und Hypothesen, Konzept und Gestaltung der Varianten, Programmierung, Qualitätssicherung auf verschiedenen Geräten und Browsern, Betreuung während der Laufzeit, Auswertung und Bericht. Oft getrennt stehen die Lizenz für das Testwerkzeug und die dauerhafte Umsetzung der Gewinnervariante in deinem System. Frag nach beidem, und frag auch, ob das Werkzeugkonto auf dein Unternehmen oder auf den Dienstleister läuft.

Ein gewonnener Test ist noch keine geänderte Seite

Nach dem Experiment beginnt die Arbeit, die gern übersehen wird. Die Gewinnervariante gehört sauber in deine Website oder App; dauerhaft über das Testwerkzeug ausgeliefert, kann sie die Seite bremsen. Nicht mehr benötigter Testcode sollte verschwinden, weil er spätere Tests stört. Ebenso wertvoll ist das Archiv: Hypothese, Varianten mit Bildschirmfotos, Laufzeit, Stichprobe, Ergebnis und die Entscheidung, die daraus folgte. Dieses Wissen gehört in dein Haus, nicht nur in die Präsentation der A/B Testing Agentur. Vereinbare, in welcher Form du es bekommst und dass du Zugriff auf Rohdaten und Konten behältst, wenn die Zusammenarbeit endet.

Die erste Testidee steht. Wer bekommt sie zu sehen?

Ein Weg führt über die Liste: Du siehst die gelisteten Agenturen für A/B Testing selbst durch, grenzt sie nach Leistungen und Standort ein und nimmst direkt Kontakt auf. So behältst du die Auswahl von Anfang an vollständig in der Hand. Der andere Weg führt über eine kostenlose, unverbindliche Anfrage: Du schilderst dein Vorhaben einmal, und interessierte Anbieter können sich daraufhin bei dir melden. So musst du nicht jeden einzeln ansprechen. Für beide Wege hilft es, die erste Hypothese und die betroffene Seite bereitzuhalten. Das Verzeichnis listet und sortiert die Einträge; eine Prüfung oder Bewertung der Anbieter findet nicht statt. Mit wem du ein Experiment aufsetzt, entscheidest du.