Fichier « robots.txt » à la racine

Je vous parle ici d’une technique pour augmenter la visibilité d’un site Internet. C’est un petit morceau de robot dans le vaste univers du SEO mais c’est un bon début.
SEO est l’acronyme anglais pour Search engine optimization ou « Optimisation pour les moteurs de recherches ».
Ce fichier se situe à la racine de votre site. Créez simplement un fichier en texte pur nommé robots.txt avec dans celui-ci :
User-agent: *
Disallow:
Vous pourriez aussi enlever des dossiers ou des pages que vous ne voulez pas indexer en ajoutant ses lignes Disallow
Disallow: /cyberworld/map/
Disallow: /tmp/
Disallow: /foo.html
Si le site est un intranet accessible seulement à celles et ceux qui ont l’URL, ou si vous désirez cacher complètement votre site :
User-agent: *
Disallow: /
Pour valider votre fichier :

http://phpweby.com/services/robots

Valider votre fichier robot.txt

Validez votre fichier robot.txt

Plus de lectures sur ce sujet