Snabbt och enkelt sätt för att blockera sökmotorerna från att helt indexera en webbplats med hjälp av robots.txt.
Varför man nu skulle vilja blockera hela kan ju fråga sig då, men det finns tillfällen. Nackdelen är att vissa robotar inte bryr sig om vad som står i robots.txt.
För att blockera snälla robotar så skapar du en textfil i rooten på webbservern som heter robots.txt och i den skriver du.
User-agent: *
Disallow: /Spara och stäng så är det klart.
Det säkraste för att inte få något indexerat dock att helt spärra robotarna från att komma åt webbplatsen. Till exempel genom att lösenordsskydda den.