Om man har flera likadana sidor så är risken stor att man blir utesluten ur Googles index. Det är nämligen ett fult sätt att bli associerad med många sökord. Trots det så var det precis det jag gjorde, omedvetet dock. Det var häromdagen när jag var inne i Google webmaster tools och upptäckte att det var väldigt många sidor som var indexerade på min hemsida.
Alla kommentarer får en permanent länk. Följer man den länken så kommer man till en sida med ursprungsartikelns innehåll samt den kommentaren. Innehållet finns då på två platser.
Hur löser man det? Jag gjorde en enkel "fullösning". Om man lägger till följande rad i robots.txt så kommer inte någon kommentarssida att indexeras.
Disallow: /comment/
Den raden säger till sökmotorerna att de inte skall indexera någon kommentarssida.