Anzeige der Crawling-Fehler im Dashboard
Seit wenigen Tagen gibt es in den Google Webmaster Tools unter „Crawling-Fehler“ eine neue Anzeige: Soft 404-Fehler (seo.at hat z.B. darüber berichtet). Worum es sich dabei handelt, will ich hier kurz erklären. Beim „klassischen“ 404-Fehler, vorausgesetzt der Webserver ist richtig konfiguriert, sendet der Server bei nicht vorhandener Seite im Header den „404 – Not Found“ Code. Damit weiß der Browser (und die Suchmaschine), dass die Seite nicht mehr vorhanden ist. Im Idealfall erscheint dann noch eine nutzerfreundliche Fehlerseite. Soweit, so klar. Beim Soft 404-Fehler passiert das nicht. Stattdessen sendet der Webserver einen „200 OK“ Header und sagt damit, dass alles in Butter ist und liefert anschließend eine (Content-)Seite aus. Häufig wird hier der Inhalt der Startseite ausgeliefert. Dieses Phänomen habe ich schon öfter bei falsch konfigurierten Typo3 Installationen gesehen.
Dieses “Fehlverhalten” macht es vor allem den Suchmaschinen schwer, automatisiert und zuverlässig tote Links zu erkennen. Problematisch dabei ist, dass die Seiten im schlimmsten Fall indexiert werden, was letztendlich zu haufenweise Duplicate Content führen kann. Nachdem die Anzahl der in Google indexierten Seiten für eine Domain begrenzt ist, nehmen die indexierten „Fehlerseiten“ wertvollen Platz ein und halten dabei andere, wichtigere Seiten von der Indexierung ab. Außerdem werden für das Crawlen dieser Seiten auch noch Crawler-Ressourcen verschwendet, die dann ggf. an anderer Stelle fehlen. Die Zahl der täglich gecrawlten Seiten ist ja ebenfalls begrenzt.
Um dies (und Crawling-Probleme im Allgemeinen) schnell zu erkennen, empfehle ich grundsätzlich jedem die Crawling-Fehler in den Webmaster Tools regelmäßig zu überprüfen. Als iGoogle Nutzer kann man sich auch das Widget „Crawling-Fehler“ der Google Webmaster Tools auf die iGoogle Seite legen. So hat man es automatisch immer im Blick und erkennt Probleme sofort – falls doch mal etwas schief läuft.
Detailansicht der Soft 404-Fehler
Zeit Google Soft 404-Fehler an, sollte man folgendermaßen vorgehen:
- Seite aufrufen und den Header überprüfen. Ich nutze dazu am liebsten das Plugin Live HTTP Headers für den Firefox (oder ieHTTPHeaders für den Internet Explorer). Optional kann man auch die Funktion „Aufruf wie durch Googlebot“ unter „Google Labs“ in den Webmaster Tools verwenden. Oder man greift zu einem online Header Tool. Ist mir persönlich aber zu umständlich.
- Liegt tatsächlich ein Fehler vor d.h. Du erhältst einen Header 200 und die Startseite wird ausgeliefert, obwohl es die Seite eingentlich nicht gibt, sollte man überprüfen ob der Server und/oder das eingesetzte System falsch konfiguriert ist. Wenn ja, Konfiguration anpassen so dass ein 404 Header gesendet wird. Man kann einzelne URLs auch per 301 auf passende Seiten weiterleiten. Man sollte aber in jedem Fall die Ursache des Problems finden.
- Liegt kein Fehler vor und Google listet die Seite dennoch unter den Soft 404-Fehlern, so gibt es womöglich ein allgemeines Problem mit Duplicate Content. Dem sollte man erst recht nachgehen. Ich glaube sogar, dass dieser Fall häufiger auftreten wird. Zumal ich mich frage, wie Google hier Soft 404er von „echtem“ Duplicate Content zuverlässig unterscheiden will. In den Fällen die ich bisher überprüft hab (noch nicht sooo viele) war es immer Duplicate Content, der als Soft 404 gelistet wurde.
Was mir persönlich fehlt, ist die (noch nicht vorhandene?) Anzeige der verlinkenden Seiten, so wie man es von den 404 Fehlern her kennt. Das würde in jedem Fall helfen strukturelle und technische Probleme (abgesehen von der falschen Serverkonfiguration) schneller zu identifizieren. Aber vielleichts kommt’s ja bald noch hinzu.
Hier noch die offizielle Meldung im Google Webmaster Central Blog.
5 Kommentare vorhanden für “Soft 404-Fehler in den Google Webmaster Tools”
Sehr interessanter Beitrag, vielen Dank. Habe mich schon gewudnert, was es mit dem Soft 404 wohl auf sich haben mag.
Gott sei Dank hab ich deinen Artikel gefunden. Ich bin schon schier verzweifelt… Merci dir!
Danke, war sehr aufschlussreich. So wie ich das verstanden habe reicht dann eine 301 Weiterleitung aus.
Ja, mit einer 301 kann man die entsprechenden URLs weiterleiten. Wenn einem in den Webmaster Tools aber viele URLs als Soft-404 angezeigt werden, sollte man in jedem Fall die Ursache finden und überprüfen ob irgendwo ein Konfigurationsfehler vorliegt.
Hallo und danke für diesen tollen Beitrag. Habe selbst diesen Fehler im Webmastertool und hatte nicht verstanden woher der kam. Durch deinen Beitrag kann ich ihn jedoch beheben danke nochmal und macht weiter so.