Anmelden
Donnerstag, 7. Mai 2009, 15:11
1.6.4-spezifische robots.txt
Tach,
sperrt ihr eigentlich bestimmte Verzeichnisse für Searchbots in der robots.txt?
Wenn ja, welche machen denn Sinn?
Die Standard-robots.txt sperrt ja erst mal alles. Das will ich auf jeden Fall nicht.
Hier klicken für weitere Informationen
Ich habe in meiner vorläufig mal nur den Adminbereich gesperrt.
Hier klicken für weitere Informationen
sperrt ihr eigentlich bestimmte Verzeichnisse für Searchbots in der robots.txt?
Wenn ja, welche machen denn Sinn?
Die Standard-robots.txt sperrt ja erst mal alles. Das will ich auf jeden Fall nicht.
Hier klicken für weitere Informationen
Ich habe in meiner vorläufig mal nur den Adminbereich gesperrt.
Hier klicken für weitere Informationen
So wie es in der Standard robots.txt vom Kit ist, ist es eigentlich richtig. Ok, über den fx Ordner kann man sich streiten, aber den pk solltest du schon sperren. 
Ähnliche Themen
-
alte Versionen [1.6.03|1.6.1|1.6.4] »-
Bots als User anzeigen
(30. Dezember 2007, 11:52)
-
- alte Versionen [1.6.03|1.6.1|1.6.4] »
-
IP Bannen
(22. Juni 2008, 10:10)
-
- alte Versionen [1.6.03|1.6.1|1.6.4] »
-
phpkit Seitenzugriffe Browserkennung
(15. Mai 2008, 04:18)
-
- alte Versionen [1.6.03|1.6.1|1.6.4] »
-
Frage zur "Kommentar-Engine"
(11. Januar 2008, 21:15)
-
- alte Versionen [1.6.03|1.6.1|1.6.4] »
-
Anzahl der Angriffe unglaublich hoch?
(15. Januar 2008, 09:47)
