Vet ni vad feedproxy.google.com är? Den har ganska många sidor indexerade också. Det där är faktiskt något jag känner igen och det är feedBurner. Du har möjlighet att välja att kalla din feed för feedproxy.google.com istället.
Jag antar att det inte var planerat att de skulle indexera alla feedBurner strömmar som hamnade där men jag vet att ändrade om det där i slutet av augusti då Feedburner användare inte kunde komma åt sin feed när den låg under Google.com. Så jag gissar att de kanske tillät lite för mycket i sin robot.txt av misstag :-D
"# 16-SEP 2008: We are updating our robots.txt instructions on feedproxy.google.com to match feeds.feedburner.com. These instructions read:
User-agent: *
Disallow: /~a/This should permit all readers/crawlers that previously retrieved feed content, but now get a blocked response, to start working properly again. Our apologies for any inconvenience you may have encountered!
Från: FeedBurner Help Group Known Issues & Workarounds.
Foto:
Kommentera