Kommentare zu: Conversion Rate Optimierung: Testdauer & Signifikanz bestimmen http://www.blogzwonull.de/e-commerce/conversion-rate-optimierung-testdauer-signifikanz-bestimmen.html Weblog über User-Centered-Design, User Experience, Usability, Website Optimization, Web Analytics, SEM, SEO, E-Commerce Fri, 03 Sep 2010 16:33:04 +0200 hourly 1 http://wordpress.org/?v=3.0.1 Von: Moritz Habermann http://www.blogzwonull.de/e-commerce/conversion-rate-optimierung-testdauer-signifikanz-bestimmen.html/comment-page-1#comment-17866 Moritz Habermann Fri, 04 Sep 2009 15:42:09 +0000 http://www.blogzwonull.de/?p=1079#comment-17866 Hallo Hans, relevant sind für Dich in obigen Beispiel die Spalte "Confidence" und "Recommended Sample Size". Auf Basis der eingegebenen Daten des Tests wird dann berechnet wie "sicher" Deine Ergebnisse sind. In obigem Beispiel ist es also so, dass die Variante 3 zu 98,13%iger Wahrscheinlichkeit besser als die Kontrollvariante ist. Insgesamt sind hierfür 1.226 Nutzer notwendig um diese Aussage weiter zu verfestigen. Man spricht hier von signifikanten Ergebnissen, wenn der Wert bei Confidence größer als 95% ist. In 100 Test-Fällen tritt also in 95 Fällen der gemessene (Mittel-)Wert ein, die Irrtumswahrscheinlichkeit von 5 Test-Fällen geht man also ein. Hoffe Dir geholfen zu haben. Mit Sicherheit wird es aber so sein, dass die Wissenschaft die ganze Sache noch mit ganz anderen Augen sieht ;-) Hallo Hans, relevant sind für Dich in obigen Beispiel die Spalte “Confidence” und “Recommended Sample Size”. Auf Basis der eingegebenen Daten des Tests wird dann berechnet wie “sicher” Deine Ergebnisse sind. In obigem Beispiel ist es also so, dass die Variante 3 zu 98,13%iger Wahrscheinlichkeit besser als die Kontrollvariante ist. Insgesamt sind hierfür 1.226 Nutzer notwendig um diese Aussage weiter zu verfestigen.

Man spricht hier von signifikanten Ergebnissen, wenn der Wert bei Confidence größer als 95% ist. In 100 Test-Fällen tritt also in 95 Fällen der gemessene (Mittel-)Wert ein, die Irrtumswahrscheinlichkeit von 5 Test-Fällen geht man also ein.

Hoffe Dir geholfen zu haben. Mit Sicherheit wird es aber so sein, dass die Wissenschaft die ganze Sache noch mit ganz anderen Augen sieht ;-)

]]> Von: Hans http://www.blogzwonull.de/e-commerce/conversion-rate-optimierung-testdauer-signifikanz-bestimmen.html/comment-page-1#comment-17857 Hans Fri, 04 Sep 2009 12:51:47 +0000 http://www.blogzwonull.de/?p=1079#comment-17857 Hallo Moritz, ich kenne aus wissenschaftl. Studien die Signifikanz-Beweise z.B. in der Form: Ergebnis (mean=0.54%, p<0.001). Wie komme ich nun mit dem Tool zu der Aussage, dass mein Test signifikant ist ? Hallo Moritz, ich kenne aus wissenschaftl. Studien die Signifikanz-Beweise z.B. in der Form: Ergebnis (mean=0.54%, p<0.001). Wie komme ich nun mit dem Tool zu der Aussage, dass mein Test signifikant ist ?

]]> Von: Moritz Habermann http://www.blogzwonull.de/e-commerce/conversion-rate-optimierung-testdauer-signifikanz-bestimmen.html/comment-page-1#comment-17781 Moritz Habermann Thu, 03 Sep 2009 15:52:23 +0000 http://www.blogzwonull.de/?p=1079#comment-17781 Hallo Hans. Leider verstehe ich Deine Frage nicht ganz. Was meinst Du genau? Hallo Hans. Leider verstehe ich Deine Frage nicht ganz. Was meinst Du genau?

]]> Von: Hans http://www.blogzwonull.de/e-commerce/conversion-rate-optimierung-testdauer-signifikanz-bestimmen.html/comment-page-1#comment-17771 Hans Thu, 03 Sep 2009 12:47:41 +0000 http://www.blogzwonull.de/?p=1079#comment-17771 Danke für den Tipp - allerdings wird dieser Tester der Überschrift nicht gerecht. Wie ist es jetzt um die Signifikanz bestellt? Konfidenzintervall schön und gut. Die Überschrift klingt allerdings, als bekäme man einen p-Wert / anderes Ergebnis eines Signifikanztests ausgespuckt.. Danke für den Tipp – allerdings wird dieser Tester der Überschrift nicht gerecht. Wie ist es jetzt um die Signifikanz bestellt? Konfidenzintervall schön und gut. Die Überschrift klingt allerdings, als bekäme man einen p-Wert / anderes Ergebnis eines Signifikanztests ausgespuckt..

]]>