Whitehouse.gov robots.txt: Ännu fler myter & missuppfattningar

Jag tog upp att jag menade att bloggar och traditionellt media (här BBC) ibland tenderar att missa faktakontroll som inte tar mer än 10 - 20 minuter (åtminstone för mig som normalbegåvad skribent med ungefär genomsnittlig erfarenhet). Bra exempel på det är den ofullständiga informationen, underliga slutsatser och konspiratoriska idéer som cirkulerar kring förändringarna av Vita husets robots.txt fil:

• Vita huset: Myter om deras nya robots.txt (SEOTaktik.com)

Skickar "Obama" dublicerat innehåll till Google? Nej

Så här skrev jag exakt tidigare:

"Så långt jag ser är den nya robots.txt helt ändamålsenligt med den nya sajten. Det är så vitt jag ser även den gamla. Jag hittade inget fall där jag såg att indexering dublicerat innehåll blir fallet. Här kan jag ta fel i enstaka fall: Det vanliga är sajter får en del dublicerat även om man är noga.

Men det finns absolut ingenting onormalt med www.whitehouse.gov jämfört med andra webbsajter."
Från: Vita huset: Myter om deras nya robots.txt (SEOTaktik.com)

Den uppfattningen är så långt jag kan se korrekt. Nu skrev jag dublicerat innehåll i bloggpostningen men med det avsåg jag både dublicerat och redundant innehåll. Och med redundant innehåll menar jag innehåll som är meningslöst för läsare som kommer från sökmotorer att få indexerat. Ändå har vi här en blogg som med skärmdumpar pekar på redundant innehåll:

• SERPs Scrapers, Rejoice! Matt Cutts Endorses Indexing Of Search Results In Google! (smackdown.blogsblogsblogs.com) Rel=nofollow då jag länkar den för kritik och inte som en rekommendation.

Den publicerades tidigt under 21 januari så den hängde på låset. Så hur ser det ut nu för "mitt aktuella" DC för samma sökresultat d.v.s. site:whitehouse.gov/search/?keywords= (google.se)? Så här...

Ett sökresultat. Ingenting redundant. Inget dublicerat. Google hanterar situationen klockrent.

Om jag däremot klickar på länken Google ger under sökresultat: "repeat the search with the omitted results included." Får jag givetvis övriga sidor vilket man får anta att man i så fall också önskat:

Men av de jag såg är det gamla sidor från innan ombyggnaden som tidigare var utlåsta. Eftesom de inte längre finns finns ger de felmeddelande och är inte med i det normala sökresultatet. Anledningen till att de överhuvudtaget tagits upp beror gissningsvis på att sidorna har externa länkar och Google tittar förbi dem för att se om de finns.

Kring den där bloggpostningen upplever jag även att syftet kanske huvudsakligen är att slå på Google:

• Rubriken på inlägget är: "SERPs Scrapers, Rejoice! Matt Cutts Endorses Indexing Of Search Results In Google!"
• Citerar en kort Twitter kommentar från Cutts om att han tycker den nya robots.txt är bra.
• Citerar diverse från Google om dublicerat och redundant innehåll.

Den här teknik att göra en poäng på tycker jag känns både billig och tveksam. Vill man nu kritisera Google är det mer konstruktivt att leta rätt på något av de verkliga problem man får anta finns i en stor divergerad plattform som deras snarare än sådant här. Försöka hålla det konstruktivt: Att man åtminstone potentiellt bygger upp och förbättrar världen genom det.

Svenska påståenden

Här har vi en svensk bloggare som har en massa teorier om både nya och gamla regimen:

• Vita husets nya robots.txt-fil. Rel=nofollow då jag länkar den för negativ kritik och inte som en rekommendation.

Joachim Strömbergson fortsätter med att från de två robots.txt filerna dra en ganska otäck (och så vitt jag vet helt felaktig) slutsats om nivån på USA:s nationella säkerhet:

"Nej jag tror inte att robots.txt är ett sätt att skydda information, informationen är öppen. Däremot får jag en känsla av att GWB:s stab har trott att det är ett sätt att skydda information.)"
Från: strombergson.com/kryptoblog/2009/01/21/vita-husets-nya-robotstxt-fil/
Datum: 2009-01-23

Och då har han ändå så vitt jag kan se redan tänkt helt fel för robots.txt filerna. Men även om den hade varit korrekt: Vad kom resten av slutsatsen ifrån? Det hela är obegripligt. Har han några skäl att anta att Bush styret hade sämre kompetens kring de här frågorna? Vad i så fall? Tror han inte att deras personal förstår hur robots.txt fungerar? Och varför skulle den i så fall vara bättre nu? Hur kan han mena att den ändrats så snabbt?

Richard Clarke: IT-säkerhet, mer IT-säkerhet och så personlig brandvägg för nationens bästa

Nu har vi facit i hand och så vitt jag vet fick vi inte en betydelsefull incident igenom i USA efter 11 september oavsett om vi diskuterar IT-terrorism, informationsläckage eller den osmakliga konkreta terrorism som bombdåd, flygplan i byggnader och dyligt står för. Eller tar jag fel? Så vilken konkret anledning finns att dra slutsatsen att USA misskötte IT-säkerheten eller den nationella säkerhet inrikes överhuvudtaget?

Faktiskt var det ju trots allt så att Richard Clarke efter 11 september hade ett väldigt fokus på hela den där biten.

Richard Clarke (född 1951) befodrades av President Bill Clinton till boss för counter-terrorism. Under President George W. Bush minskade hans roll tydligt och januari 2003 gick han helt i pension.

Vissa kan säkert rent av kritisera honom för att tittat alldeles för mycket på IT-säkerhet medan det eventuellt kunde tyckas att annat låg mer nära tillhands att titta ordentligt på. Jag hade möjlighet att höra om honom både en dryg vecka efter 11 september och senare. Åtminstone med lite mer fakta att tillgå skulle jag säkert inte vara främmande för att kritisera Clarke tydligt och jag var inte på något sätt imponerad av vad jag uppfattade var hans strategi. Men väldigt mycket information finns naturligtvis som inte är tillgänglig vilket gör att man kan fatta saker fel.

Försök vara konstruktiva!

Jag har all respekt för att man kan ha ogillat USA:s utrikespolitik de här åren men är det i så fall inte bättre att framföra en underbyggd kritik av den faktiska frågan man är missnöjd med? Kanske med förslag på hur man kunde göra det bättre? Istället för sådant här...

Nu har jag inte läst bloggen i övrigt och det skulle inte förvåna mig att den kring kryptering håller mycket högre kvalitet. Kring den här frågan finns ju trots allt känslomässiga komponenter som kan störa.

Jag ska hur som helst läsa igenom bloggen framöver. Efter att ha implementerat säkerhetsprotokoll för kommunikation som SPKM, implementerat i Java och/eller C standarder för accesskontroll som Keynote och accessmatriser m.fl. protokoll, implementerat säkerhet i internetbanker, för demokratiorganisationer och infört säkerhetslösningar i diverse legacy produkter med OpenSSL och otaliga andra krypteringsbibliotek, liksom implementerat blockchiffer, hashfunktioner m.m. i C (lite mer om C och säkerhet), Javascript (redan på den tiden det kallades Livescript), Java, Occam-2, precis som jag analyserar formellt utan större problem med CSP m.m. ska jag nog klara det även om jag numera inte petar med sådant där annat än strikt icke kommersiellt och normalt aldrig annat än väldigt sällan.