################################################################################ # For more examples see http://www.robotstxt.org/wc/exclusion-admin.html # Default settings below allow all agents access to all objects in the webserver ################################################################################ User-agent: * #Disallow: Disallow: /cgi-bin/more-info.cgi ################################################################################ # Disallow: /cgi-bin/ # Disallow: /images/ # Disallow: basket.aspx ################################################################################