Robot.txt generator i Google Webmaster Central

3/30/2008

Google Webmaster Central är Googles verktyg för och gränssnitt mot webbsajter. Det har sedan länge haft en del funktioner som kan vara intressanta t.ex. att de ger en del statistik om sökresultat man syns i. Ännu viktigare kan vara att Google använder Google Webmaster Central för att vid behov ta kontakt med webbsajter.

Robots.txt generator
Robots Exclusion Protocol ("robots.txt protocol") är standarden för hur webbsajter kan tala om för spindlar hur de får komma åt webbsajten. Detta uttrycker man i filen robots.txt som spindlar korrekt ska ladda ner och titta på innan de spindlar sajten. Att skriva en robots.txt är inte på något sätt svårt men kan man slippa det är det givetvis bra och funktionen för detta i Google Webmaster Central är lätt att använda:

Dessutom genom att fel kan ha så stort inflytande är det lätt otäckt att skriva en robots.txt för en sajt med många besökare. En generator från den dominerande sökmotorn känns däremot tryckt.

Analysera din robots.txt i Google Webmaster Central
Redan sedare tidigare har Google Webmaster Central en funktion för att analysera Robots.txt och gör man ändringar är det rekommenderat att man utnyttjar den här funktionen.

I bilden nedan ser du var i Google Webmaster Central de båda funktionerna finns:

Vad gör Googles olika spindlar?
Google har flera spindlar med olika uppgifter:

  • Googlebot. Spindlar för Googles sökresultat / webbindex. Den i särklass viktigaste spindeln.
  • Googlebot-Mobile. Spindlar sajter för Googles mobilindex.
  • Googlebot-Image. Spindlar för Googles bildsökning.
  • Mediapartners-Google. Spindlar för att besluta vilken Adsense-reklam som ska visas.
  • Adsbot-Google. Beslutar kvalitet på landningssidor för Adwords.

Mer om Robots.txt i Google Webmaster Central
Hjälp till dessa funktioner finns att läsa hos Google här: Using Google Webmaster Tools to monitor my site > Tools. Googles officiella blogg för Webmaster Central har bloggat om generatorn: Speaking the language of robots.

0 kommentarer

Kommentera