Google vs. Magento robots.txt
Wer als Shopbetreiber Magento als Shopsoftware nutzt, sollte nicht vergessen auch einen Blick auf die robots.txt zu werfen. Sehr oft wird dort das Crawling vom „skin“-Ordner für alle Bots gesperrt, auch für den Google-Bot. Sofern nicht anderweitig konfiguriert befinden sich in diesem Ordner bzw. Verzeichnissen die CCS-, JavaScript- und Bilddateien, die für das Design mit verantwortlich sind. Die robots.txt-Angaben stehen grundsätzlich mit der unlängst erweiterten technischen Google Webmaster Guidelines in Konflikt. Dadurch können sie Probleme beim Rendering durch den Google-Bot machen. Außerdem können sie bei der korrekten Indexierung und beim Ranking von URLs oder der kompletten Domain zu Behinderungen führen.
Probleme erkennen mit Google Webmaster Tools
Wie der Google-Bot die eigene Webseite oder den Online-Shop wirklich sieht und rendert, kann jeder selbst herausfinden. Dazu wird in den Google Webmaster Tools einfach die Funktion „Abruf wie durch Google“ benutzt. Dort kann man die Startseite „abrufen und rendern“ lassen. Die Ergebnisse werden von Google direkt ausgegeben. Wenn Probleme angezeigt werden die mit CSS-, JavaScript- und Grafik-Dateien im „skin“-Ordner oder anderen Verzeichnissen in Zusammenhang stehen, sollten die entsprechenden Anweisungen aus der robots.txt entfernt werden. Eine weitere Möglichkeit ist, dass zum Crawling ausschließlich die Unterordner mit diesen Dateien freigegeben werden. Mit wenig Aufwand kann man so möglichen Ranking-Problematiken gezielt vorbeugen.
Crawlen gezielt verhindern
Sollte Googlebot den über robots.txt gesperrten Content weiterhin crawlen, könnte es daran liegen, dass sich die Datei „robots.txt“ am falschen Speicherort befindet. Die Datei muss sich im obersten Verzeichnis des Servers befinden, wenn sie in einem Unterverzeichnis gespeichert wurde ist sie wirkungslos. Wenn nur die Verfolgung von Links durch den Crawler verhindert werden soll, kann der Mega-Tag „nofollow“ verwendet werden. Falls Google Bot nur einem einzelnen Link nicht folgen soll, ist dem Link das Attribut rel-„nofollow“ hinzuzufügen. Fehler die beim crawlen der Webseite festgestellt werden, können im Google Webmaster-Tools auf der Crawling-Fehler-Seite eingesehen werden. Crawling-Fehler sollten regelmäßig überprüft werden.
Bildquelle: © berggeist007 / pixelio.de
