Conversion & Growth

A/B-Tests bei wenig Traffic: Conversion-Optimierung für B2B-Websites

Ohne genügend Conversions liefern A/B-Tests Zufallsergebnisse. Wie B2B-Teams mit wenigen Demo-Anfragen trotzdem systematisch besser werden.

Warum A/B-Tests im B2B so oft scheitern

Ein A/B-Test vergleicht zwei Varianten einer Seite und soll zeigen, ob eine Variante wirklich besser ist – oder nur zufällig besser aussieht. Damit diese Unterscheidung gelingt, braucht er eine ausreichende Zahl von Besuchern und Conversions. Drei Größen bestimmen, wie viele:

  • Ausgangs-Conversion-Rate: Je seltener die Conversion, desto mehr Besucher sind nötig.
  • Erwartete Verbesserung: Kleine Unterschiede sind schwer vom Zufall zu trennen, große leichter.
  • Gewünschte Sicherheit: Üblich sind 95 % Konfidenz und 80 % Teststärke – also eine geringe Gefahr, einen Zufall für einen Erfolg zu halten, und eine gute Chance, einen echten Effekt auch zu finden.

B2B-Websites haben typischerweise niedrige Conversion-Raten bei überschaubarem Traffic. Genau diese Kombination macht klassische A/B-Tests schwierig.

Wie viel Traffic ein Test braucht

Die folgende Tabelle zeigt, wie viele Besucher je Variante nötig sind (95 % Konfidenz, 80 % Teststärke, zweiseitiger Test):

Ausgangs-ConversionErwartete VerbesserungBesucher je VarianteBesucher gesamtConversions Kontrollgruppe
1 %+20 %42.69385.386ca. 427
1 %+50 %7.75015.500ca. 78
2 %+20 %21.10942.218ca. 422
2 %+50 %3.8267.652ca. 77
5 %+20 %8.15816.316ca. 408
5 %+50 %1.4712.942ca. 74

Eigene Berechnung mit der Standardformel für den Vergleich zweier Anteile (Rechenweg am Ende des Artikels). Online-Rechner wie der von Evan Miller [1] liefern dieselbe Größenordnung; je nach Formel weichen die Werte um einige Prozent ab.

Übertragen auf eine B2B-Seite mit 3.000 Besuchern im Monat und 2 % Conversion-Rate:

  • Eine Verbesserung um 20 % sicher zu erkennen, dauert rund 14 Monate.
  • Eine Verbesserung um 50 % sicher zu erkennen, dauert rund 2,6 Monate.

Verbesserungen um 50 % durch eine einzelne Änderung sind die Ausnahme. Realistischere kleine Effekte bleiben bei diesem Traffic im Rauschen.

Warum B2B-Funnels besonders betroffen sind

Zu wenig Traffic ist nur ein Teil des Problems. B2B-Funnels haben weitere Eigenheiten:

  • Wenige, aber wertvolle Conversions. Eine einzige Demo-Anfrage kann mehr wert sein als hundert Newsletter-Anmeldungen.
  • Lange Entscheidungswege. Zwischen erstem Besuch und Anfrage liegen oft Wochen und mehrere Personen. Ein Test misst nur einen Ausschnitt.
  • Menge ist nicht Qualität. Mehr Anfragen sind kein Erfolg, wenn sie nicht zur Zielgruppe passen. Die Qualität zeigt sich erst im Vertrieb – meist nach Ende des Tests.
  • Schwankender Traffic-Mix. Kampagnen, Messen oder ein Fachartikel verändern, wer auf die Seite kommt – und damit die Conversion-Rate, unabhängig von der getesteten Änderung.

Der häufigste Fehler: zu früh auswerten

Wer einen laufenden Test immer wieder ansieht und ihn beendet, sobald das Testwerkzeug „signifikant“ meldet, erhöht die Gefahr von Scheinergebnissen deutlich. Evan Miller beschreibt dieses Problem wiederholter Signifikanzprüfungen ausführlich und empfiehlt, die Stichprobengröße vor dem Start festzulegen und den Test erst danach auszuwerten [2].

Gerade bei wenig Traffic ist die Versuchung groß, nach zwei Wochen „Ergebnisse“ zu präsentieren. Ein Test, der zu früh beendet wird, liefert keine Erkenntnis, sondern eine Zufallsentscheidung mit dem Anschein von Daten.

Was stattdessen funktioniert

Wenn A/B-Tests nicht tragen, heißt das nicht, dass man nichts verbessern kann. Es braucht andere Methoden – vor allem solche, die das Warum erklären:

MethodeWas sie liefertAufwand
Funnel-DiagnoseWo genau steigen Besucher aus – auf welcher Seite, an welchem Schritt?gering, wenn eine Web-Statistik vorhanden ist
Nutzertests mit 5 PersonenWo Menschen stocken, was sie nicht verstehen, was ihnen fehlt. Schon wenige Testpersonen decken einen großen Teil der Probleme auf [3].gering bis mittel
VertriebsfeedbackWelche Fragen und Einwände Interessenten im Gespräch äußern – und was sie auf der Website vergeblich gesucht habengering
FormularanalyseWelche Felder abschrecken, wo Fehlermeldungen entstehengering
Fünf-Sekunden-TestOb die Seite in wenigen Sekunden sagt, was angeboten wird und für wengering
Experten-ReviewSystematische Prüfung gegen bewährte Prinzipien der Nutzerführungmittel

Schrittweise verbessern – aber sauber dokumentiert

Ohne Test lässt sich nicht beweisen, dass eine Änderung die Ursache einer Verbesserung war. Man kann aber nachvollziehbar arbeiten:

  1. Hypothese formulieren: „Weil Besucher den Preisrahmen nicht kennen, brechen sie auf der Demo-Seite ab. Ein Hinweis auf den typischen Projektumfang senkt die Hürde.“
  2. Eine Änderung zur Zeit umsetzen und das Datum festhalten.
  3. Kennzahl vorher und nachher über einen festen Zeitraum vergleichen – mindestens vier bis acht Wochen.
  4. Störfaktoren notieren: Kampagnen, Messen, Saison, Preisänderungen.
  5. Lead-Qualität einbeziehen: Rückmeldung aus dem Vertrieb zu den Anfragen des Zeitraums.

Wann ein A/B-Test doch sinnvoll ist

  • Viel Traffic auf einzelnen Seiten, etwa Landingpages für bezahlte Kampagnen.
  • Große Veränderungen, bei denen ein deutlicher Effekt plausibel ist – zum Beispiel eine grundlegend neue Seitenstruktur statt einer anderen Button-Farbe.
  • Häufigere Zwischenschritte als Messpunkt, etwa Klicks auf „Demo anfragen“ statt abgeschlossene Anfragen – mit dem Wissen, dass ein Klick noch keine Anfrage ist.
  • Vorher gerechnet: Wer vor dem Start mit einem Stichprobenrechner prüft, ob der Test in vertretbarer Zeit aussagekräftig wird, vermeidet Monate ohne Erkenntnis.

Checkliste

  • Ausgangs-Conversion-Rate und monatlichen Traffic der Seite kennen
  • Vor jedem Test die nötige Stichprobe berechnen – und ehrlich prüfen, ob die Laufzeit realistisch ist
  • Bei unrealistischer Laufzeit: Diagnose, Nutzertests und Vertriebsfeedback statt Test
  • Jede Änderung mit Hypothese, Datum und Kennzahl dokumentieren
  • Tests erst nach Erreichen der geplanten Stichprobe auswerten
  • Lead-Qualität mit dem Vertrieb bewerten, nicht nur die Anzahl der Anfragen

Rechenweg

Stichprobe je Variante: n = ( z₁₋α/₂ · √(2 p̄ (1 − p̄)) + z₁₋β · √(p₁(1 − p₁) + p₂(1 − p₂)) )² / (p₂ − p₁)², mit z₁₋α/₂ = 1,96 (α = 0,05 zweiseitig), z₁₋β = 0,84 (Teststärke 80 %), p₂ = p₁ · (1 + relative Verbesserung) und p̄ = (p₁ + p₂) / 2. Laufzeit = Besucher gesamt ÷ Besucher pro Monat auf der getesteten Seite.

Quellen

  1. Evan Miller: „Sample Size Calculator“
  2. Evan Miller: „How Not To Run an A/B Test“
  3. Jakob Nielsen, Nielsen Norman Group: „Why You Only Need to Test with 5 Users“

Sie möchten das Thema vertiefen?

Sprechen wir darüber, was es konkret für Ihr Unternehmen bedeutet.

Björn RaddeIhre Anfrage landet direkt bei mir.