Kategorien
Netzwelt

Webmaster Tools listen robots.txt als Keywords auf

Robots txt Inhalte als KeywordsDie Google Webmaster Tools bieten jede Menge Infos zur eigenen Seite, zum Beispiel auch welche Keywords auf der gesamten Seite am häufigsten genutzt werden. Ärgerlicherweise musste ich kürzlich feststellen, dass unter den Top 5 die Begriffe “Agent” und “Disallow” auftauchen. Hier ein Screenshot  dazu.

Ich denke, dass es in erster Linie damit zusammenhängt, dass die Seite (nicht goeo) mit ca. 40 Unterseiten relativ frisch ist – allerdings auch jede Menge Inhalte, immer über 300 Wörter je Seite ohne Navigation [Einschub- die Wortzahl sollte definitiv kein Qualitätskriterium sein, sondern die Text-Aussage – für ein komplexes  Produkt können 2000 Wörter zu wenig sein, für eine Badeente reichen ggf. 100 W ; /Einschub] – zurück zum Thema, meine Seite hat also jede Menge Inhalte, welche sich aber nicht strikt an den hiesigen Bots-Vorlieben (seo) ausrichten, sondern eben an dem eigentlichen Zweck, dem Leser / Kunden für das Produkt / die Dienstleistung zu gewinnen.  Es würde also von Vorteil sein, a) mehr Texte mit den gewünschten Stichworten anzuhäufen und / oder b) die robots.txt einfach ganz rauszuwerfen.

Vor ein paar Jahren hatte ich mich für eine robots.txt entschieden, um  mehr oder minder nervige Bots auszusperren, mittlerweile habe ich auf vielen Seiten von Mitbewerbern keine robots.txt mehr gefunden – nun werde ich mal schauen, ob ich diese nicht doch ganz rauswerfe. Denn Agent und Disallow wirklich als Main-Keywords, trotz jeder Menge wahrscheinlich unteroptimierter Seiten, sollte nicht das Ziel sein. Nun denn, ist mehr oder minder eine persönliche Gedanken-Notiz doch mal öfter in den Google Webmaster Tools reinzuschauen, um solche Disallow’s aufzudecken.

Nun werde ich mich mal auf die Suche nach ein paar Tipps machen, wie man die robots.txt ggf. aus der Bots-Suche rausnimmt – in der Sitemap.xml ist sie auf jeden Fall nicht.

Nachtrag:

So, da es über 125 ‘Disallowed Bots’ in meiner robots.txt gab habe ich kurzer Hand die Liste um gut 3/4 gekürzt, wenn man sich einen kurzen Überblick bei den Webdesign-Koryphäen wie Perun, Bueltge & Co macht, dann sieht man, dass man mit der robots.txt eher zum Verzeichnisschutz verwendet als zum Aussperren böser Bots – im Grunde ist es ja auch so, dass die Bots die Namen nach belieben ändern können, so dass von daher wenig Sinn macht alle namentlich auszuschließen – nun denn, auf jeden Fall ein Keyword-Anhäufungsproblem in den Webmaster Tools gelöst.


 

3 Antworten auf „Webmaster Tools listen robots.txt als Keywords auf“

Sind die Keywords aus der robots.txt bei dir verschwunden? Ich habe NUR “agent” und “allow” in der Keyword-Liste der Webmastertools… Google intzeressiert sich nicht für den Seiteninhalt. Woran kann das liegen?

Kommentare sind geschlossen.