# robots.txt fuer http://www.beispiel.de/
User-agent: BeispielRobot
Disallow: /application/       # Die Dateien sind sehr kurzlebig
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /cgi-bin/   # Die ändern sich jeden Tag
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /cgi-data/     # Bilder nicht downloaden
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /compare   # Die news.html ändert sich täglich
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /library   # Die news.html ändert sich täglich
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /smarty   # Die news.html ändert sich täglich
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
Disallow: /zend   # Die news.html ändert sich täglich