A/B-Test der Shopify-Produktseite: die Stichprobengrößen-Formel, bevor du einem Ergebnis glaubst (2026)

Wie lange du einen Produktseiten-Test laufen lassen musst, hängt von zwei Zahlen ab, die die meisten Verkäufer vor dem Start nie ausrechnen: ihre Baseline-Konversionsrate und wie groß die Verbesserung sein muss, die sie wirklich erkennen wollen. Überspring diese Rechnung, und der Test wird so beurteilt, wie es die meisten Dropshipping-Shops tun — ein Blick aufs Dashboard nach zwei oder drei Tagen, eine Variante liegt vorne, alles wird umgestellt. Beim Traffic, den die meisten Shops haben, ist dieser Abstand fast immer Rauschen im Gewand eines Gewinners.

Das Warnsignal zeigt sich, sobald du die Zahlen anschaust. Ein Shop mit 40 Sitzungen am Tag pro Variante und einer Baseline von 3% macht ungefähr eine Bestellung am Tag, mal null, mal zwei. Ein einziger Verkauf mehr an einem Dienstag bewegt die Tagesrate um 100%, und das hat nichts mit der Überschrift zu tun, die du geändert hast. Wenn du einen Test bei dieser Stichprobengröße beendest, liest du kein Ergebnis, du liest letzten Dienstag.

Es folgt: warum die meisten Produktseiten-Tests beendet werden, bevor sie etwas bedeuten, eine Stichprobengrößen-Formel, die du mit deinen eigenen Zahlen rechnen kannst statt der Black Box eines Tools zu vertrauen, was diese Rechnung für einen kleinen Shop im Vergleich zu einem größeren tatsächlich in Tagen bedeutet, eine Matrix, um einen Test ehrlich zu lesen, während er noch läuft, und die Verzerrungsrisiken, die die Formel selbst nicht erkennen kann.

Warum die meisten Dropshipping-Produktseiten-Tests zu früh beendet werden

Das Fehlermuster ist immer dasselbe: Dashboard an Tag zwei öffnen, sehen, dass Variante B 20% besser konvertiert als A, alles auf B umstellen. Bei niedrigem Tages-Traffic besteht dieser 20%-Abstand fast vollständig aus zufälligem Bestelltiming, nicht aus irgendetwas, was die Seite anders gemacht hat — lass dieselben zwei Varianten zwei weitere Tage laufen, und die Führung kehrt sich um.

Dropshipping-Shops sind dem stärker ausgesetzt als ein Händler mit hohem Traffic, weil sich die Stichprobe so langsam füllt. Eine Baseline von 3% bei 40 Sitzungen am Tag pro Variante erzeugt ungefähr einen Kauf täglich; ein Sprung von null auf zwei Bestellungen liest sich auf einem Dashboard, das keine Ahnung hat, dass es einen Münzwurf betrachtet, wie eine Konversionsbewegung von 100-200%.

Die Korrektur ist langweilig, und genau deshalb überspringen die meisten Verkäufer sie: Lege die Stichprobengröße vor dem Start fest, nicht während du die Zahlen beobachtest, und widerstehe der Versuchung, den Test anzufassen, bis diese Zahl erreicht ist oder ein Ergebnis eine Schwelle überschreitet, die groß genug ist, um ihr schon früher zu vertrauen — dazu mehr in der Matrix weiter unten.

Die Stichprobengrößen-Formel: wie viele Besucher du pro Variante wirklich brauchst

Das ist dieselbe Näherung, die hinter den meisten kommerziellen Split-Test-Rechnern läuft, nur sichtbar gemacht, damit du sie auf deine eigene Baseline anwenden kannst, statt dem zu vertrauen, was ein Plugin als "signifikant" bezeichnet. Für einen Zwei-Proportionen-Vergleich bei etwa 95% Konfidenz und 80% Power ist die Anzahl der benötigten Besucher pro Variante:

Setze deine eigenen zwei Zahlen ein. p ist deine aktuelle Produktseiten-Konversionsrate als Dezimalzahl — 3% ist 0,03. d ist die Mindestverbesserung, in absoluten Konversionsrate-Punkten, die du wirklich erkennen willst — willst du nur wissen, ob sich 3% auf 3,75% bewegen, ist d gleich 0,0075, nicht 0,75.

• n pro Variante ≈ 16 × p × (1 − p) / d²
• p = deine aktuelle Baseline-Konversionsrate, als Dezimalzahl (3% = 0,03)
• d = die Mindestverbesserung, die du erkennen willst, in absoluten Konversionsrate-Punkten (eine Bewegung von 3% auf 3,75% = 0,0075)
• Das ist eine Näherung, keine exakte Berechnung — runde das Ergebnis auf, nicht ab, besonders bei einer niedrigen Baseline

Sieh, welche Ads gerade gewinnen

Stichprobengröße in eine Anzahl Tage übersetzen

Rechne die Formel für eine Baseline von 2,5%, bei der du eine relative Verbesserung von 20% erkennen willst — eine Bewegung auf etwa 3%, also d = 0,005. Das ergibt n ≈ 16 × 0,025 × 0,975 ÷ 0,005² ≈ 15.600 Sitzungen pro Variante, 31.200 insgesamt. Bei 300 Sitzungen täglich, gleichmäßig aufgeteilt, sind das 150 pro Variante am Tag — etwa 104 Tage, um die Stichprobe zu erreichen. Für praktisch jeden kleinen Dropshipping-Shop ist diese Verbesserung schlicht nicht in einem Zeitrahmen erkennbar, den irgendjemand abwarten würde.

Vergrößere die Verbesserung, die du erkennen willst, und das Bild ändert sich schnell. Gleiche Baseline von 2,5%, jetzt auf der Suche nach einer relativen Verbesserung von 40% (auf etwa 3,5%, d = 0,01), und n fällt auf etwa 3.900 pro Variante — 7.800 insgesamt. Bei denselben 150 Sitzungen am Tag pro Variante sind das etwa 26 Tage, ein Test, den die meisten Shops wirklich abschließen können. Die Lehre ist nicht, dass dein Test falsch war, sondern dass die Frage, die du ihm gestellt hast, zu subtil für den Traffic war, den du hast.

Als grober Richtwert bei einer Baseline von 2,5-3% und einer Verbesserung, die es wirklich wert ist, erkannt zu werden (etwa 25-30% relativ, braucht etwa 6.000-7.000 Sitzungen pro Variante): etwa 1.000 Sitzungen am Tag pro Variante schaffen das in unter einer Woche, 300 am Tag pro Variante dauern etwa drei Wochen, und unter 100 am Tag pro Variante dauert es über zwei Monate — bei diesem Volumen teste nur Änderungen, die groß genug sind, dass du eine viel größere Verbesserung erwarten würdest, keine subtile.

Die Entscheidungsmatrix: Ship, Kill, oder weiterlaufen lassen

Lies den Test gegen das Stichprobenziel, das du vor dem Start festgelegt hast, nicht gegen wie überzeugend der Abstand heute aussieht.

• Ship: volle Stichprobe erreicht, und der Abstand hat sich in den letzten Tagen des Laufs auf oder über deiner Mindestverbesserung gehalten, nicht nur am letzten Tag
• Behalte A, teste als Nächstes etwas Größeres: volle Stichprobe erreicht, aber der Abstand liegt innerhalb der Mindestverbesserungs-Bandbreite — bei diesem Traffic-Level gibt es keinen echten Unterschied zwischen den beiden Seiten, und das ist ein legitimes Ergebnis, kein gescheiterter Test
• Früher Abbruch akzeptabel: unter etwa einem Drittel der Zielstichprobe, aber eine Variante liegt bereits um mehr als das Doppelte deiner Mindestverbesserung zurück — dieser Abstand ist groß genug, um ein echtes Signal statt Rauschen zu sein, und es gibt keinen Grund, den Rest des Traffics zu verbrennen, um es noch einmal zu beweisen
• Weiterlaufen lassen, noch nicht entscheiden: unter der Zielstichprobe, und der Abstand liegt innerhalb der Mindestverbesserungs-Bandbreite — genau das ist die Phase, in der sich ein heutiger "klarer Gewinner" in der nächsten Woche umkehrt, und es ist der Punkt, an dem Verkäufer am häufigsten einen Test zu früh beenden

Den Test so sauber laufen lassen, dass du der Zahl vertrauen kannst

Ändere pro Test nur eine Variable — Hauptbild, Preisdarstellung, oder Platzierung des Vertrauens-Badges, nicht alle drei zugleich. Eine Seite, die Bild, Preis-Layout und Badge-Position gleichzeitig ändert und gewinnt, sagt dir, dass etwas in diesem Paket funktioniert hat, nicht welcher Teil, also startet der nächste Test wieder aus einer Vermutung heraus.

Halte den Traffic-Mix während des Tests konstant. Ein neues Ad-Set zu starten, das Targeting zu erweitern, oder Budget mitten im Test zwischen Plattformen zu verschieben, kann die Konversionsrate von sich aus bewegen — ein günstigeres Publikum mit geringerer Kaufabsicht, das mitten im Test ankommt, zieht beide Varianten gemeinsam nach unten, und das hat nichts mit der Seite zu tun.

Lass beide Varianten gleichzeitig laufen, niemals nacheinander. Eine Seite, die Variante A eine Woche und Variante B die nächste Woche laufen ließ, ist kein kontrollierter Test — das sind zwei verschiedene Wochen mit unterschiedlichem Traffic-Mix, unterschiedlicher Verteilung auf Wochentage, und möglicherweise zwei unterschiedlichen laufenden Aktionen, und der Vergleich sagt dir nichts Verlässliches über beide Seiten.

Was die Formel dir nicht sagen kann

Ein neues Layout bekommt oft einen kurzlebigen Schub einfach dadurch, dass es für wiederkehrende Besucher anders aussieht — ein Neuheitseffekt, der meist innerhalb von ein bis zwei Wochen verschwindet. Wenn ein Ergebnis früh stark aussieht, lohnt sich ein zweiter Blick ein paar Wochen nach dem Start, statt die Zahlen von Tag fünf als endgültig zu behandeln.

Saisonalität und Aktionen verzerren das Ergebnis auf eine Art, die die Stichprobengrößen-Mathematik nicht erkennen kann. Ein Sale-Banner, eine Gehaltswoche, oder ein Black-Friday-Peak verschiebt die Konversionsrate unabhängig von allem auf der Seite, also braucht ein Test, der eines dieser Ereignisse überlappt, eine längere Laufzeit oder ein anderes Fenster, nicht ein schnelleres Ergebnis.

Viele aufeinanderfolgende Tests auf dem Standard-Konfidenzniveau von 95% zu fahren bedeutet, dass etwa jeder zwanzigste "Gewinner" reiner Zufall ist, selbst wenn alle Zahlen stimmen — deshalb zählt ein Ergebnis bei der Metrik, die du eigentlich bewegen wolltest, mehr als ein überraschender Ausschlag bei einer Nebenzahl, die tief im Dashboard vergraben ist. Trackiras Wettbewerbsbeobachtung zeigt, welche Produktseiten-Layouts, Badges und Preisdarstellungen die Shops, die in deiner Nische bereits Werbung schalten, gerade tatsächlich verwenden — ein schnellerer Weg, um zu wählen, was als Nächstes getestet werden sollte, als aus einer Vorlagenbibliothek zu raten.

Wie lange sollte ich einen A/B-Test auf meiner Shopify-Produktseite laufen lassen?

Das hängt von deiner Baseline-Konversionsrate, deinem Tages-Traffic, und der Mindestverbesserung ab, die du erkennen willst — nicht von einer festen Anzahl Tage. Rechne zuerst die Stichprobengrößen-Formel mit deinen eigenen Zahlen; ein Shop mit 150 Sitzungen am Tag pro Variante braucht typischerweise 3-15 Wochen, je nachdem, wie subtil die Verbesserung ist, die er zu erkennen versucht.

Wie viele Besucher brauche ich für einen gültigen Produktseiten-Test?

Nutze n ≈ 16 × p × (1 − p) / d² pro Variante, wobei p deine aktuelle Konversionsrate als Dezimalzahl ist und d die Mindestverbesserung, in absoluten Punkten, die du erkennen willst. Ein Shop mit 2,5% Baseline, der eine relative Verbesserung von 40% sucht, braucht etwa 3.900 Sitzungen pro Variante; eine relative Verbesserung von 20% zu suchen, braucht etwa 15.600.

Was ist die Mindestverbesserung (MDE) und warum zählt sie?

Das ist die kleinste Verbesserung, die du wirklich erkennen willst, ausgedrückt in absoluten Konversionsrate-Punkten. Setzt du sie zu niedrig, wird die benötigte Stichprobe für die meisten Shops unerreichbar; setzt du sie auf die kleinste Bewegung, die deine Entscheidung tatsächlich ändern würde, endet der Test in einem Zeitrahmen, den du abwarten kannst.

Kann ich einem Test vertrauen, der die volle Stichprobengröße nicht erreicht hat?

Nur wenn der Abstand bereits mehr als das Doppelte deiner Mindestverbesserung beträgt und die Stichprobe mindestens ein Drittel des Ziels erreicht hat — diese Kombination ist ein echtes Signal. Innerhalb der Mindestverbesserungs-Bandbreite ist ein frühes Ergebnis Rauschen, egal wie überzeugend es im Dashboard aussieht.