Achtung: Cache Systeme und die Änderung der Google Webmasterrichtlinien

Webmaster Richtlinien, prüfe damit alles Ok bleibt
Webmaster Richtlinien, prüfe damit alles Ok bleibt

Google hat am 27. Oktober 2014 seine Webmaster Richtlinien geändert. Man muss nun alle CSS, alle JS Dateien für den Googlebot zugänglich machen, sonst droht Rankingverlust // Rankingschlechterstellung.

Vor Mai 2014 nutzte der Googlebot einen Textbrowser, der weder CSS Dateien noch JavaScripts//jquery etc. brauchte um eine Website darzustellen. Seit Mai 2014 nutzt Googlebot aber nun moderne Browser, weil nun der Googlebot auch JS/jquery lesen kann.

Es ist daher ratsam diese Dateien für den Googlebot lesbar zu machen.

Du sperrst den Googlebot ziemlich sicher nicht bewusst von den CSS und Script Dateien aus. Aber vielleicht macht es dein Cache Plugin.

Kontrolliere in den Google Webmastertools die Einhaltung der neuen Webmasterrichtlinien von Google und dann, wenn nötig deine Robots.txt. Ich erkläre hier mögliche Lösungen.

So kontrollierst du die Einhaltung der neuen Google Webmasterrichtlinien

Kontrolle der neuen Webmasterrichtlinien von Google
Kontrolle der neuen Webmasterrichtlinien von Google

Du öffnest deinen Webmastertool Account und rufst: Crawling=> Abruf wie durch Google => rendern auf.
Am besten gleich für alle Endgeräte, die dort angeführt sind.

Hast du als Ergebnis abgeschlossen ist alles Ok und du kannst beruhigt sein.

Webmasterrichtlinien erfüllt, Google kann CSS und alle Scripte lesen
Webmasterrichtlinien erfüllt, Google kann CSS und alle Scripte lesen

Abruf durch Google ergibt: teilweise

So zeigt Google dir die blockierten Ordner an
So zeigt Google dir die blockierten Ordner an

Ergibt dieser Abruf durch Google aber teilweise, dann klicke das teilweise an und du findest wo was blockiert ist.

Überprüfe deine Robots.txt

Du rufst die Startseite deines WordPress auf und schreibst nach dem Slash /Schrägstrich robots.txt, dann kannst du sie lesen.
Steht dort:

Disallow: /wp-content/themes/

Dann kann der Googlebot genau diese Dateien nicht lesen!

Verwendung von Cache Plugins

Es gib unzählige Cache Plugins für WordPress. Erzeugt so ein Plugin reine HTML Seiten, dann gibt es diese in einen eigenen Cache Ordner, meist unter wp-content.

Komprimiert das Cache Plugin auch die CSS Dateien und alle Scripte, lädt es diese meist auch in diesem Ordner.

zum Beispiel: wp-content/cache/scripts/

Um doppelten Content zu vermeiden sind diese Cache Ordner für den Googlebot gesperrt. D.h. auch dann kann der Googlebot die CSS Dateien und Scripte nicht lesen, weil er nicht in diesen Ordner darf!

So steht dies dann in der Robots.txt.

Disallow: /wp-content/cache/
Lösungen:

1. Entweder kannst du den Cache Ordner für CSS Dateien und Scripte im Plugin ändern. Dann musst du diesen neuen Ordner via FTP erstellen und beschreibbar machen (chmod Rechte).

2. Du änderst in der Robots.txt

Allow: /wp-content/cache/scripts/
Disallow: /wp-content/cache/

Aber Achtung: bei dieser Lösung gibt es unterschiedliche Hinweise. Die einen sagen, die allow Anweisung muss vor der disallow Anweisung stehen, die anderen genau umgekehrt. (Googlegroup versus Wikipedia)

Du nutzt nur die virtuelle Robots.txt von WordPress

Dann bleibt dir nur dich an Pluginautoren zu wenden. Oder wenn du dich gar nicht auskennst dir einen professionellen WP-Entwickler für dieses Problem zu holen.

zum Thema

Wars informativ und hilfreich, freu ich mich über ein +1.
14

14 Beiträge zu “Achtung: Cache Systeme und die Änderung der Google Webmasterrichtlinien

  1. Kommentar Autor
    Carsten Feller
    Kommentar

    Hallo Monika,
    wo Du gerade beim Thema bist: Nicht zu vergessen, dass alle WP Installationen, die ein CDN benutzen, ebenfalls überprüft werden sollten, ob da nicht auch ein robots.txt „Schutz“ besteht.
    http://www.feedthebot.com/ prüft ebenfalls auf die Einhaltung der Google Webmaster Guidelines.
    Schönen Abend noch.

  2. Kommentar Autor
    Monika
    Kommentar

    Danke dir für die sinnvolle Ergänzung Carsten.

    Ich bin bei feedthebot immer skpetisch, zb deren SEO Tool findet bei mir facebook Buttons…

  3. Kommentar Autor
    Carsten Feller
    Kommentar

    Siehst Du mal, ich habe da nie mehr genutzt als diesen ersten Schnelltest. Der spiegelte eigentlich immer die Realität wieder. Also:
    Leute, nutzt die GWT :)

  4. Kommentar Autor
    Holger
    Kommentar

    Hallo Monika,

    In meiner robots.txt steht u. a. dieses hier:

    User-agent: *
    Disallow: /wp-admin/

    Dadurch wird eine Datei, die für einen Download-Tracker benötigt wird, für den Bot geblockt. Meinst du, das könnte mir negativ ausgelegt werden?

    Viele Grüße

    Holger

  5. Kommentar Autor
    Sergej Müller
    Kommentar

    Monika,

    habe das Cachify-Plugin insofern angepasst, dass der Pfad zum Cache in robots.txt punktueller ausgegeben wird. Das Update steht bereit ;)

  6. Kommentar Autor
    Monika
    Kommentar

    @Holger
    das wäre eine Frage für die Webmaster Hangouts auf G+, weil dann hast du eine Antwort vom „Wissenden“ und nicht nur meine Vermutung.

    @Sergej
    Du bist wie immer schneller als der Wind :-) und ausgesprochen umsichtig. Danke dir!

  7. Kommentar Autor
    Bernhard
    Kommentar

    Danke für den Hinweis. Habe meine robots.txt gleich mal an die neuen Anforderungen angepasst. Jetzt sind nur noch zwei externe JS-Dateien blockiert (eine von Google und einge für die Twitter oEmbeds), aber ich denke mal, dass sollte mir nicht negativ ausgelegt werden.

  8. Kommentar Autor
    Marko Wegemund
    Kommentar

    Bei mir ist es das gleiche wie bei Holger ich kann mir nicht vorstellen das dann alle WordPresser die den Eintrag
    User-agent: *
    Disallow: /wp-admin/
    haben dann abgestraft werden.
    Aber genau dadurch habe ich nur den Status: Teilweise.
    Und genau wie bei Holger ist es bei mir auch ein Twitter pic was rumzickt.
    Toller Artikle und danke für den Hinweis.

    Gruß

    Marko

  9. Kommentar Autor
    Rheinlaender
    Kommentar

    es gibt auch andere gute Gründe, dem Googlebot nicht überall Einlass zu gewähren, Datensicherheit wäre für mich ein wesentlicher Grund, dass nicht alles brühwarm beim Aggregator von halbseidenen Zeitgenossen gesichtet werden kann;-)

    Google will primär alles von einem wissen, da werden die Webmaster-Richtlinien so geändert, dass ein erhebliches Druckpotential aufgebaut wird, zu Lasten des freien Internet.

    Google ist nicht nur der Big Big Brother unserer Zeit, der vermeintliche Marktführer missbraucht hiermit wieder seine Führerschaft, das Ziel ist klar definiert: die Besiegelung der totalen Abhängigkeit.

    möge der Tag kommen, wo Google durch eine Kartellbehoerde regelrecht zerlegt wird, was das spektakuläre Kartellrechtsverfahren gegen Microsoft Ende der 90iger in den Schatten stellen wird;-)

  10. Kommentar Autor
    Monika
    Kommentar

    grüß Dich Rheinländer,
    ich verstehe deine gesunde Skepsis gegenüber der Firma Google, doch welche Daten schützt du, wenn du CSS und js/jquery vom Googlebot ausschließt?

    Solang ca. 90% der westlichen Europäer denken, dass Google das Internet ist, solang wird sich an der Marktführerschaft nichts ändern. Hier ist Aufklärung angesagt, doch meine CSS und Scripte enthalten keine schützenswerten Daten, deren Aufgabe ist funktionale Kleidung .

  11. Kommentar Autor
    Anton
    Kommentar

    Interessanter Artikel mit hilfreichen Kommentaren!

    feedthebot meckert dies an:
    /system/modules/dlh_googlemaps/html/dlh_googlemaps.css
    /system/modules/flexslider/assets/js/jquery.easing.1.3.js

    Obwohl das system – Verzeichnis disallowed ist (Standard bei der Contao-Installation),
    kann man eine nachträglich allow-Regel bezogen auf diese beiden Dateien notieren?

    Was macht Google mit all jenen Webmastern die nicht solche Lektüre lesen oder wissen das es die Google Webmaster Tools gibt?

  12. Kommentar Autor
    Anton
    Kommentar

    Nachtrag: Obige Frage ist beantwortet (hätte ich vor dem Schreiben machen sollen…)
    Funktioniert!!! Einfach am Schluß der robots.txt die beiden Dateien per Allow erlauben und
    feedthebot ist zufrieden. Hoffentlich der große Bruder auch?

  13. Kommentar Autor
    Monika
    Kommentar

    Hi Anton, freut mich, dass du eine Lösung für dich gefunden hast.

    Und was Google mit Webmastern macht, die kaum bis gar nie in den Webmastertools nachsehen weiß ich nicht. Maybe bekommen die irgendwann eine E-Mail, das was nicht stimmt…

  14. Kommentar Autor
    Kai
    Kommentar

    Hallo Monika und auch natürlich an die Leserschaft.

    Man könnte doch aber auch das ganze etwas schicker lösen und zb die robots.txt wie folgt erweitern
    User-agent: Googlebot
    Allow: /
    Das ist zwar die Hammer und Bruch Methode, aber wäre zumindest auch ein weg um die Richtlinien einzuhalten. :)