El
fichero robots.txt tiene la función de indicarle a los motores de búsqueda qué contenido deben indexar y cual no. Si queremos que
Google no indexe nuestra página web, simplemente tenemos que
crear un fichero con el nombre robots.txt en el directorio raíz de nuestro sitio web con el siguiente contenido:
User-agent: * # Se aplica a todos los motores de búsqueda
Disallow: / # Evita la indexación de todo el contenido
Si quisiéramos que sólo dejara de
indexar un directorio de nuestro proyecto, deberíamos sustituir la línea:
Disallow: /
por el directorio que queramos excluir:
Disallow: /directorio/
gracias por la informacion
ResponderEliminarhttp://www.janas.es