Im Archiv der CRO-Projekte kann man auch ausgiebig stöbern, und sich somit tolle Anregungen für Tests auf der eignenen Seite holen. Aber Vorsicht: wer mit dem Gedanken spielt die auf whichtestwon.com vorgestellten Testergebnisse für seine eigene Seite zu übernehmen, der macht einen entscheidenden Testing-Fehler. Denn nicht immer sind Erkenntnisse von Seite A auf Seite B übertragbar. Zu unterschiedlich sind Nutzergruppen und deren Verhalten. Daher: immer schön selbst Tests durchführen und von den eigenen Erfahrungen lernen.

Der Test war folgendermaßen aufgebaut: ein 2-stufiger Bestellprozess wurde gegen einen 1-stufigen Bestellprozess getestet. Nach 600 Transaktionen konnte der Sieger bereits ermittelt werden. Sieger war der 1-seitige Bestellprozess.

• Die CVR des kompletten Checkouts konnte um 257,26% gesteigert werden.
• Die Gesamt-CVR des Shops konnte um 0,54% gesteigert werden.
• Die durchschnittliche Warenkorbhöhe konnte um 8,54% gesteigert werden.

Screenshots der Varianten (auf die Bilder klicken um zu vergrößern):

2-stufiger Checkout:

1-stufiger Checkout:

Getestet wurde übrigens mit dem Google Website Optimizer, einem kostenlos erhähtlichen Tool zur Durchführung von A/B bzw. multivariaten Tests.

Was kann man daraus lernen?

Prinzipiell wäre es gefährlich, wenn nun jeder seinen Bestellprozess 1-stufig umbauen würde. Unterschiedliche Shops bedienen unterschiedliche Zielgruppen und nicht alles ist 1:1 auf jeden Shop übertragbar. Vielmehr zeigt das obige Beispiel deutlich welche Effekte durch Tests erzielt werden und welche tragweite Design-Änderungen haben können. Die Verantwortlichen des “Official Vancouver 2010 Olympic Store” haben sich wahrscheinlich vorab den Kopf darüber zerbrochen wie ihr Checkout nun gestaltet sein soll – letztendlich gab die Antwort nur ein Test. Und so soll es sein – harte Fakten sollten über die Shopgestaltung entscheiden.

(Quelle: Get Elastic)

Meine Highlights des Kongresses

Leider habe ich die Keynotes von Joachim Graf (iBusiness) und Michael Sorg (Schwab Versand) verpasst, weil ich Probleme bei der Anreise hatte und am Bahnsteig Frankfurt Airport festsaß. In der Kaffeepause konnte man jedoch hören, dass die beiden Speaker sehr gut ankamen und gut in die beiden Tage eingeführt haben.

Besonderes Interesse habe ich der Session Web Controlling & Usability gewidmet. Letztendlich habe ich wieder mal den Eindruck gewonnen, dass Usability-Forschung, Conversion Rate Optimization und Web Analytics mehr und mehr Teil eines ganzheitlichen Optimierungsprozesses wird, bei welchem mehr und mehr die Tools & Methoden zusammenwachsen. Das hab ich ja hier im Blog schon öfters angemerkt und der Erfahrungsaustausch auf dem Kongress bestätigt mir das auch.

Frank Reese (www.idealobserver.de) hat den Nagel jedoch auf den Kopf getroffen: die Sammlung von Daten und Aufbereitung in Handlungsempfehlungen scheitert oft noch an den Unternehmensstrukturen. Leidergottes ist der Gedanke noch nicht in vielen Firmen etabliert, um Entscheidungen datenbasiert vorzubereiten und letztendlich zu treffen. Hierzu ist noch viel Arbeit vom Markt notwendig – letztendlich ist es jedoch m.E. unerlässlich um langfristig erfolgreich im Web zu sein.

Ein anderer Frank – nämlich Frank Puscher – hat in einem interessanten Vortrag über Landing Page Optimierung klar gemacht, dass sich innerhalb von wenigen Sekunden Erfolg und Mißerfolg einer Website entscheiden und dass es oft einfache Usability-Fehler sind, deren Behebung die Konversionsrate nach oben schnellen lässt.

Marktforschung für Fortgeschrittene hat Tim Bosenick (www.sirvaluse.de) vorgestellt – durch die Kombination von Offline-Datenanalysen der GfK mit Erkenntnissen aus der Online-Forschung durch Remote-Tests lässt sich die ein oder andere interessante Analyse des Online-/Offline Kaufverhaltens im Benchmark durchführen. Im Übrigen hat Tim Bosenick für einen perfekten und sehr lustigen Abschluss des Kongresses gesorgt, in dem er von seinen Erfahrungen in Internationalen Usability-Projekten berichtet hat. Andere Länder, andere Sitten – das zählt also auch für die Usability-Forschung.

Ich hoffe dass es einige der Vorträge bald zum Download auf www.usability-kongress.de gibt – so kann sich jeder nochmal ein eigenes Bild über den Kongress machen. Wer die Downloads auf seinen eigenen Seiten zum öffentlichen Download anbietet, der kann in den Kommentaren gerne darauf hinweisen.

Fazit

Der Usabilitykongress hat sich gelohnt – falls nächstes Jahr eine Wiederholung ansteht (wovon ich fest ausgehe), dann werde ich mir den Termin sicherlich in meinem Kalender vormerken. Einziger Wermutstropfen der Veranstaltung: die Tagungsräume hätten etwas mehr Licht vertragen können, so wäre die lockere und entspannte Athmosphäre in der Lobby auch besser während den Vorträgen zur Geltung gekommen.

Meine Tweets

Wer sich nochmal die Ereignisse des Kongresses in chronologischer Reigenfolge anschauen möchte, der kann sich meinen Twitter-Stream hier nochmal ansehen. Ein kleiner Vorgeschmack in untigem Screenshot.

Schaust Du hier :-) : http://abtester.com/calculator/

Alles was ihr eintragen müsst ist,…

• die Anzahl der Besucher der Seite je Testvariante (in das Feld “Visitors Treated”)
• die Anzahl der erfolgten Conversions (in das leere Feld neben “Conversions”)

Und dann legt der Calculator auch schon los und spuckt Euch folgende Werte aus:

• die “Conversion Rate” je Variante (Conversions / Besucher)
• den “Z-Score” (stellt den Abstand vom Mittelwert  aller Messwerte dar; dieser Wert ist fürs erste uninteressant für die meisten von uns)
• der Wert “Confidence” beziffert die Wahrscheinlichkeit dass die Variante besser als die Kontrollvariante ist (sofern dieser Wert >95% ist, so spricht man davon dass das Testergebnis signifikant besser als die Kontrollvariante ist)
• die drei Zahlen in der Spalte “Recommended Sample Size” entsprechen der minimalen Anzahl empfohlener Experiment-Besucher, je nachdem wie sicher man sich der Aussage sein möchte (die  Zahlen basieren der Reihe nach auf 25%, 15% und 5%  Konfidenzindervallen, wobei 25% der “unsicherste” Weg ist und 5% der “sicherste” Weg).

Wer nochmal nachlesen will, warum Statistik bei der Conversion Rate Optimierung so wichtig ist, dem empfehle ich diesen älteren Artikel von mir.

(via Avinash Kaushik auf Twitter)

Früher existierte die Meinung, dass Web Analysten zu stark zahlengetrieben wären und nur das große Ganze kennen würden – während User Experience Manager hingegen nicht über den Tellerrand ihrer Projekte schauen können und nur auf unausgewogenem Datenmaterial Entscheidungen treffen würde.

Mit den heutigen Werkzeugkasten eines ganzheitlichen User-Centered-Design Ansatzes (Quantitative Forschung & Qualitative Forschung) verbinden sich jedoch beide Disziplinen – was zu einer unschlagbaren Kombination werden kann.

Wie man das erreicht?

• User Experience Manager sollten sich mehr mit Nutzungsdaten beschäftigen: wie verhalten sich Leute auf der Webseite? Wieviel konvertieren davon? Wo brechen die Nutzer ab? Welche Schlüsse kann man daraus für die Gestaltiung von User Interfaces treffen?
• Web Analysten sollten auch verstehen, dass es neben harten Fakten (=Zahlen) auch weiche Fakten wie Vertrauen und Überzeugung in den Kaufprozess einfließen und somit in den Gestaltungsprozess der Webseite einfließen müssen.

Also, liebe Web Analysten und User Experience Manager:
Arbeitet enger zusammen, sammelt gemeinsam Daten in Eurer Web Analytics Software, schließt daraus gemeinsam Rückschlüsse bzgl. der Optimierung der Seite, schaut Euch gemeinsam die Daten an und übertragt die Erkenntnisse in Testhypothesen. Lasst diese dann in einen Test (AB Test oder Multivariater Test) einfließen der Euch dann eine Antwort auf all Eure Fragen und Gewissheit liefert. Dieser Prozess macht Spaß und ist erfolgreich.

(via cmswire)

• UX-Camp Berlin (23./24. Mai 2009): Das Barcamp für User Experience mit den Schwerpunkten Information Architecture, Interaction Design, Usability Engineering, Visual Design, Prototype Engineering findet im Erwin-Schrödinger-Zentrum in Berlin statt. Mit 300 Teilnehmern an beiden Tagen ist die Veranstaltung bereits ausgebucht. Die Sessionvorschläge hören sich sehr interessant an – auch ich versuche mich mit einer Session zum Thema “Website Optimierung als ganzheitlicher Ansatz” (Weiterführung meiner Präsentation zum eMetrics Summit 2009) einzubringen. Dort wird es darum gehen, wie der gezielte Methodeneinsatz (qualitiv wie z.B. Usability Labor und quantitativ wie z.B. Web Analytics, A/B & Multivariates Testing) systematisch die Konversionsrate erhöhen kann.
• Usability Kongress Frankfurt (05./06. Oktober 2009): Das bisherige Veranstaltungsprogramm verspricht 60 Experten aus Praxis und Forschung, welche 2 Tage lang in drei parallelen Sessions über aktuelle Usability-Erkenntnisse und Usability-Methoden diskutieren. Veranstaltungsort ist das Kempinski Hotel Gravenbruch Frankfurt.
• Barcamp Hamburg(14./15. November 2009): Der Klassiker und die Fortführung des Barcamps in HH aus dem vergangenen Jahr. Die Räumlichkeiten des Hamburger OTTO Versand sowie die Organisation rund um Alexander & Co. von Kassenzone lassen wiederum ein Highlight erwarten.
• Weiterhin steht noch ganz oben auf meiner Wunschliste ein Besuch von einem der WAALA-Events (Web Analytics Association Late Afternoon) sowie eines Web Analytics Wednesdays (z.B. könnten doch Timo & Patrick von Mole 2 nochmal einen WAW in Hamburg organisieren, nachdem der erste im März 2009 schon ein solcher Erfolg war).

Hab ich irgendwas in meiner Planung vergessen? Wer von Euch kommt ebenso zu einem der obigen Events?

@ Timo & Patrick: Was machen die Planungen für den nächsten WAW? Ist in 2009 noch was geplant ?

Zunächst mal ein Screenshot des alten Warenkorbes (leider habe ich nur noch einen alten Screenshot des US-Stores gefunden; Quelle: tuaw.com):

Und hier ein Screnshot des neuen Warenkorbes:

Die Veränderungen nun im Detail:

• Technik: Während der alte Warenkorb aus statischen HTML Elementen bestand, so ist nun im neuen Bestellprozess deutlich mehr Dynamik durch nachladende Elemente vorhanden (entfernt man z.B. Elemente aus dem Warenkorb).
• Bilder der Artikel: Während im alten Warenkorb lediglich eine textuelle Beschreibung der Produkte im Warenkorb enthalten war, ist im neuen Warenkorb nun noch ein Bild enthalten. Dies verschafft dem Nutzer eine zusätzliche Übersicht und Sicherheit. Ebenso macht es den Warenkorb optisch ansprechender.
• Textinhalte: Vergleicht man die Konfiguration des Artikels im Warenkorb (in obigem Beispiel ein Mac Mini), so fällt auf dass die neue Variante deutlich übersichtlicher gestaltet ist. Während im alten Warenkorb die Informationen einfach aufgeführt wurden, so erscheinen sie heute übersichtlich in Form von Listenpunkten unter dem Artikel. Das freut das Auge des Nutzers, denn es erleichtert die Lesbarkeit.
• Farbgestaltung: Im alten Warenkorb waren 3 Farben dominierend: grün, orange, und blau. Eine klare Hierarchie der Farben war jedoch nicht ersichtlich. Durch die Farbwahl wurde den Nutzern nicht impliziert, welche Buttons denn nun die wichtigsten im Bestellprozess sind. Dies wird im neuen Bestellprozess ersichtlich: die wichtigsten Buttons der Seite, nämlich “Zur Kasse gehen” (um die Bestellung abzuschicken) oder “In den Wagen legen” (um Up-Selling-Artikel in den Warenkorb zu legen und somit den Warenkorbwert zu erhöhen), wurden mit der Farbe grün versehen und alle anderen Buttons wurden dezenter gestaltet. Somit werden die Nutzer durch die Farbwahl “geführt”.
• Wording: Etwas strange finde ich die Beschriftung “In den Wagen legen” bei den Empfehlungsartikeln – hier wurde anscheinend stumpf aus dem englischen übersetzt. Weiterhin finde ich es diskutabel, dass mir die Steuer nur “ungefähr” ausgewiesen werden können.
• “Mitwandernde” Zusammenfassung des Warenkorb: Durch die JS-Technologie wurde die neue Seite so gestaltet, dass die Warenkorbzusammenfassung im rechten Seitenbereich immer nach unten mitscrollt. Somit verliert der Nutzer nie das eigentliche Ziel der Seite – nämlich die Bestellung abzuschließen – aus den Augen. Selbst dann nicht, wenn er sich die Artikelempfehlungen im unteren Bereich der Seite ansieht.
• Versandkostenhinweis: Im Vergleich zum alten Warenkorb fällt nun auf, dass die Versandkostenfreiheit prominent ausgelobt wird. Dies ist definitiv auch ein USP von Apple, der einige Zweifler bei der Bestellung noch überzeugen kann. Über die Farbwahl an sich lässt sich streiten, denn Rot steht normalerweise für Fehlermeldungen. Durch sie wird jedoch gewährleistet, dass die Versandkostenfreiheit ins Auge fällt.
• Kontaktmöglichkeit: Auffallend ist auch, dass zu jeder Zeit eine Kontalktmöglichkeit im direkt sichtbaren Bereich vorhanden ist. Hat ein Nutzer also ein Problem im Bestellvorgang, so kann er den Apple Support kontaktieren. Mit dieser Möglichkeit möchte Apple Kaufabbrüche verhinden, indem “Problemfälle” an die Hotline verwiesen werden. Dieser Kundenkontakt ist zwar wahrscheinlich teurer als der reine Kontakt per Internet, dennoch sichert es die ein oder andere sicher verlorengegangene Conversion.

Dies waren mit Sicherheit nur einige offensichtliche Änderungen – bei einer genauen Detailanalyse werden garantiert noch weitere Veränderungen ersichtlich.

Fazit:
Letztendlich lässt sich sagen, dass die meisten Veränderungen positiver Natur sind. Ich bin mir sicher, dass Apple den neuen Warenkorb durch qualitative Maßnahmen am Nutzer (z.B. im Usability Labor) abgetestet hat. Ideal wäre es zudem, wenn die Veränderung durch einen A/B bzw. Multivariaten Test im Livebetrieb getestet werden würde. So könnten die Veränderungen und der Erfolg der Maßnahmen in echten Nutzungszahlen festgehalten werden. Langfristig gesehen müssen dann Nutzungs- und Bewegungsdaten in einer Web Analytics Software gemonitort werden – und genau dies macht Apple durch den Einsatz des Omniture SiteCatalyst. Beachtlich finde ich, dass zum Relaunch des Warenkorbes der komplette Online-Shop offline genommen wurde – über 1-2 Stunden war er weltweit nicht zu erreichen und somit konnten in der Zeit auch keine Umsätze generiert werden. Was das wohl an Umsatzverlusten gekostet hat ?!?

Ist Euch noch etwas aufgefallen bei dem Relaunch des Warenkorbes? Was ist Eure Meinung?

Die Veranstaltung war super rund, alles perfekt organisiert und der Veranstaltungsort ein Traum – großes Lob hier von meiner Seite an den Veranstalter Rising Media. Besonderes Highlight war die Party “Search and Metrics Bash” am Abend des ersten Tages auf der Galopprennbahn Riem zusammen mit den Teilnehmern der Search Marketing Expo SMX. Hier war pures Networking angesagt – viele interessante Gespräche sind hier entstanden.

Ein besonderes Schmankerl eines jeden eMetrics-Summit war zudem die Eröffnungskeynote von Jim Sterne, der in gewohnt perfekter Art und Weise in die beiden Kongresstage eingeleitet hat. Ralf Haberich, der Verteter der Web Analytics Association in Deutschland, hat zudem eine neue Veranstaltungsreihe “Web Analytics Association Late Afternoon – kurz WAALA” ins Leben gerufen.

Während des ersten Kongresstages konnte ich im Auftrag meines Arbeitgebers BAUR Versand (www.baur.de) einen Vortrag zum Thema “Website Optimierung als ganzheitlicher Ansatz” beisteuern, welcher anhand einer Fallstudie zur Optimierung der Onsite-Produktsuche Praxiserfahrungen darlegen soll, und aufzeigt wie man durch die Kombination von quantitativen und qualitativen Methoden die Konversionsraten im E-Commerce-Umfeld erhöhen kann.

Timo Aden und Patrick Ludolph vom deutschen Web Analytics Podcast Mole2 haben während des Summits eine Podcast-Folge zusammen mit Jim Sterne aufgenommen, auf welche ich gerne hinweise. Timo Aden konnte zudem die erste Druckfassung seines Buches “Google Analytics. Implementieren. Interpretieren. Profitieren” vorstellen.

Zum Abschluss lässt sich sagen, dass das Thema Web Analytics und Website Optmization noch nicht 100%ig in Deutschland angekommen ist. Vergleicht man die Besucherzahlen des eMetrics Summits mit den Besucherzahlen der SMX, so war doch ein deutliches Ungleichgewicht zu erkennen. Die Community der SEO’ler ist schon erstaunlich – einen ähnlichen Run wünsche ich mir für Web Analytics / Website Optimization. Der Unterschied wird beispielsweise deutlich, wenn man die Anzahl der Diskussionsbeiträge auf Twitter mit den Hashtags #SMX und #eMetrics vergleicht.

Letztendlich ist neben der Traffic-Generierung auch das Konvertieren des Traffics ein Kernpunkt des Erfolgs und sollte dementsprechend in jedem Unternehmen gewichtet sein.

Weitere Web-Berichte zum eMetrics-Summit 2009:

• http://webanalyse-news.de/emetrics-uns-smx-2009-ruckblick-positives-und-kritisches/
• http://www.smartmetrics.de/2009/04/24/emetrics-09-so-gelingt-die-optimierung-von-multichannel-kampagnen/
• http://www.smartmetrics.de/2009/04/24/emetrics-09-warum-der-werbemittelnutzungspfad-zum-ziel-fuhrt/
• http://www.web-analytics-blog.de/2009/04/23/web-analytics-emetrics-summit-rueckblick-5995474/
• http://www.wanalytics.de/2009/04/emetrics-summit-munchen-2009/
• http://blog.xing.com/2009/04/smx-recap-emetrics/
• http://www.ichmarkedujane.de/emetrics-summit-munchen-2009-from-reports-to-insights/
• http://www.virtual-commerce.de/2009/04/kurzer-ruckblick-auf-die-emetrics-09-in-munchen.html
• http://www.smartmetrics.de/2009/04/24/emetrics-2009-das-meet-greet-unserer-branche/
• http://www.wanalytics.de/2009/04/smx-und-emetrics-konferenzen-auf-wachstumskurs-pressemitteilung/

• Ihr möchtet wissen wie aus Besuchern eines Shops Käufers gemacht werden?
• Ihr möchtet wissen wie durch A/B bzw. Multivariate Testverfahren die Konversionsrate des Online-Shops erhöht werden kann?
• Ihr möchtets wissen, welche Faktoren bei einem (Multivariaten) Test eine Rolle spielen?

Download – Wie Online Shops aus Besuchern Käufer machen – AB Testing, Multivariates Testing.
(PDF, 2 Seiten, 660kByte)

—-

Leseprobe (der komplette Artikel ist nach Download verfügbar):
Moritz Habermann – Wie Online-Shops aus Besuchern Käufer machen – Konversionsrate steigern durch Website-Testing

E-Commerce ist kinderleicht: Man investiert in Suchmaschinenmarketing und -optimierung, um User anzulocken. Sobald diese im Shop sind, tätigen sie einen Kauf. Weit gefehlt: Die Menge an Anbietern zwingt zum Umdenken. Denn ist ein Shop nicht an den Nutzerbedürfnissen ausgerichtet, ergeben sich schnell Probleme. Wie kann man durch Verfahren wie A/B- und Multivariate Tests auf Nutzerbedürfnisse eingehen und somit aus Besuchern Käufer machen? Mehr erfahren (PDF, 2 Seiten, 660kB)…

—-

via Google Website Optimizer Blog