Vår studierobot: SnabbaPucksStudie

Roboten identifierar sig så här: Mozilla/5.0 (compatible; SnabbaPucksStudie/1.0; +https://snabbapucks.se/robot)

Den används för studien Företagswebben, en mätning av företagssajter i 13 branscher. Vi redovisar bara sammanräknade tal och aldrig namn på företag eller sajter.

• Den läser robots.txt först och följer den. Stänger robots.txt ute SnabbaPucksStudie, SnabbaPucksBot eller BizIndexBot läser den inget mer hos er.
• Den hämtar robots.txt, /.well-known/tdmrep.json och startsidan, normalt en gång per mätomgång. Studien har tre omgångar: en pilot, en huvudmätning och en uppföljning ungefär sex månader senare.
• Vid ett fel gör den ett nytt försök senare samma natt eller nästa natt. För ett litet stickprov av sajterna hämtar den samma filer en gång till efteråt, för att pröva att mätningen blev rätt.
• Leder startsidan vidare till en annan adress läser den robots.txt och tdmrep.json där också, innan den går vidare.
• Den gör tre vanliga DNS-uppslag för domänen: MX, SPF och DMARC.
• Den gör högst en hämtning i sekunden totalt, och aldrig två samtidigt mot samma server.
• Den kör inget JavaScript, fyller inte i formulär och loggar inte in. Utöver robots.txt och tdmrep.json hämtar den inga adresser som sajten inte själv pekar ut.
• Anger tdmrep.json eller startsidan att rättigheterna till text- och datautvinning är förbehållna, sparar den inget om sajten utom att den räknats.
• Den sparar inte sidornas eller filernas text. Den sparar härledda besked och kodade kontrollvärden under ett kodat id, aldrig adressen.

Vill ni stänga ute den, lägg detta i robots.txt: User-agent: SnabbaPucksStudie och Disallow: /

Vill ni att er sajt tas bort ur studien, skriv till studie@snabbapucks.se. Vi tar bort den inom en arbetsdag och mäter den inte igen.