Todos contra Google

El fichero robots.txt tiene la función de indicarle a los motores de búsqueda qué contenido deben indexar y cual no. Si queremos que Google no indexe nuestra página web, simplemente tenemos que crear un fichero con el nombre robots.txt en el directorio raíz de nuestro sitio web con el siguiente contenido:

User-agent: *    # Se aplica a todos los motores de búsqueda
Disallow: /      # Evita la indexación de todo el contenido

Si quisiéramos que sólo dejara de indexar un directorio de nuestro proyecto, deberíamos sustituir la línea:

Disallow: /

por el directorio que queramos excluir:

Disallow: /directorio/