# Alle Roboter spidern die Domain User-agent: * Disallow: # Verzeichnis #1 soll nicht von Googlebot/2.1d (+http://www.googlebot.com/bot.html) gespidert werden User-agent: Googlebot/2.1d (+http://www.googlebot.com/bot.html) Disallow: #1 # Verzeichnis #2 soll nicht von ia_archiver gespidert werden User-agent: ia_archiver Disallow: #2 # Verzeichnis #3 soll nicht von Lycos_Spider_(T-Rex) gespidert werden User-agent: Lycos_Spider_(T-Rex) Disallow: #3