Mit der robots.txt - Datei im Hauptverzeichnis einer Website können Sie bestimmten Spidern verbieten Ihre Website oder einen Teil Ihrer Website aufzunehmen.
Zum Beispiel können Sie unerwünschte Bots von einem Verzeichnis mit dem befehl User Agent:*
Disallow: /verzeichnis
dieses bestimmte Verzeichnis verbieten.Im Internet findet Sie eigene robots.txt - Generatoren die Ihnen bei der Erstellung dieser einfachen aber nützlichen Textdatei behilflich sind.
MEMBERS LOGIN
SEITE DURCHSUCHEN
