El archivo robot.txt sirve para decirle a las arañas lo que deben y lo que no deben indexar dentro de nuestra página web. Es una herramienta fundamental para el SEO.
Aquí tenéis una entrada de http://www.seom.es que me ha encantado porque deja claro todo lo que se puede hacer con el Robot.txt y da ejemplo de como se le dan las ordenes, la forma de escribir el código.
DOG dcc!!
Desde donde se comienza a pegar el codigo del robot txt dentro del codigo html de la pagina