Toutes les pages de votre site sont indexables, c'est-à-dire que toutes les urls
peuvent être enregistrées puis référencées sur les moteurs de recherches grâce aux robots.
Voici le contenu d'un fichier robot.txt à placer dans le dossier www :
# Commentaire
User-agent: *
Disallow: /admin/
Disallow: /cgi-bin/
Disallow: /admin.php
-
User-agent: * : Signifie que l'accès est accordé pour tous le monde.
-
Disallow: /admin/ : Signifie que l'accès est refusé dans le dossier admin.
-
Disallow: /admin.php : Signifie que l'accès est refusé pour le fichier admin.php.
-
# Commentaire : Les lignes commençant par un # représente un commentaire.