#---------------------------------------------------------------------------------------------------- # Fichier robots.txt pour le site http://www.iss-software.fr #---------------------------------------------------------------------------------------------------- # Commentaire # # Régles pour les exclusions # Disallow:/ => Permet d'exclure toutes les pages du serveur (aucune aspiration possible). # Disallow: => Permet de n'exclure aucune page du serveur (aucune contrainte). Un fichier robots.txt vide ou inexistant aura une conséquence identique. # User-Agent : fast => Permet d'identifier un robot particulier (ici, celui des moteur Lycos et Fast/Alltheweb). # User-agent: fast Disallow: User-agent: * Disallow:/ => Permet au spider d'Alltheweb et de Lycos (dont l'index est également fourni par Fast) de tout aspirer, mais refuse les autres robots. # User-agent: BadBot => In this case, the BadBot robot is not allowed to see anything. The slash is shorthand for "all directories" The User Agent can be any unique substring, and robots are not supposed to care about capitalization. # User-agent: WeirdBot => This keeps the WeirdBot from visiting the listing page in the links directory, the tmp directory and the private directory. # User-agent: sidewiner => NO! Robots will ignore misspelled User Agent names. Check your server logs and the listings of User Agent names. # Liste des principaux moteurs # Abacho => AbachoBOT # Alexa => la_archiver # Altavista => Scooter # Alltheweb => Ouverture-WebCrawler # Antisearch => Antibot # Atomz => Atomz # Excite => ArchitextSpider # Euroseek => Arachnoidea # Google => Googlebot # Ibm => Almaden # Inktomi => Slurp # Infoseek => UltraSeek # Looksmart => MantraAgent # Lycos => Lycos Spider (T-Rex) # Mirago => HenryTheMiragoRobot # Msn => MsnBot # Picsearch => Psbot # Search Hippo => Fluffy the spider # Singingfish => Asterias # Teoma => Teoma agent1 # Wisenut => ZyBorg # robots.txt pour le site http://www.micro-securite.com # Robots & agents # Sitemap # Répertoires & fichiers interdit # Répertoires & fichiers autoriser # Robots & agents # Sitemap # Répertoires & fichiers interdit # Répertoires & fichiers autoriser #---------------------------------------------------------------------------------------------------- # Robots & agents # User-agent: * #---------------------------------------------------------------------------------------------------- # Sitemap # Sitemap: http://www.inox-industrie.com/sitemap.xml #---------------------------------------------------------------------------------------------------- # Répertoires & fichiers interdit # Disallow: /images/ Disallow: /stats/ Disallow: /comic.ttf Disallow: /xximg_mv.php Disallow: /xximg.php Disallow: /stylesheet.css Disallow: /oops-une-erreur-est-survenue.php #---------------------------------------------------------------------------------------------------- # Répertoires & fichiers autoriser # Allow: / #----------------------------------------------------------------------------------------------------