Υπάρχουν bots και crawlers που συνήθως δεν τα χρειαζόμαστε. Πέρα από τα γνωστά (Googlebot, Yandex, Netcraft, Microsoft, Yahoo, κτλ) υπάρχουν
και bots που κάνουν κατάχρηση πόρων, τρώνε άσκοπο Bandwidth και επιβαρύνουν μία σελίδα.
Εδώ υπάρχει κώδικας για το .htaccess κάθε σελίδας που μπλοκάρει όλα τα άγνωστα bots εκτός των γνωστών.
Οποιοδήποτε άλλο Bot θέλετε να επιτρέψετε το προσθέτετε στη 2η γραμμή.
RewriteCond %{HTTP_USER_AGENT} (bot|crawler|scraper|sodomizer|spider)
RewriteCond %{HTTP_USER_AGENT} ! (bing|Google|msn|MSR|Twitter|Yandex)
RewriteRule !^robots\.txt$ - [F]
Λίστα με bot names: http://www.robotstxt.org/db.html
