User-agent: *
Disallow: /admin/      # Die ändern sich jeden Tag
Disallow: /backup/     # Bilder nicht downloaden
Disallow: /lang/    # CGI Ausgaben nicht indexieren
Disallow: /images/   # Die news.html ändert sich täglich