He encontrado una
interesante herramienta online que te permite configurar y crear tu propio
fichero robots.txt. Este fichero contiene recomendaciones de acceso que todos los crawlers y robots de buscadores deberían cumplir.
Mediante el fichero robots.txt podemos realizar varias acciones:
- Impedir acceso a determinados robots, muy útil sobre todo para evitar sobrecargas en el servidor.
- Prohibir el acceso a determinadas zonas, por ejemplo al área de administración de la web.
- Identificar la ubiación del sitemap.
- Eliminar contenido duplicado. Muy valorado por los buscadores.
El fichero robots.txt debe estar colocado en el directorio raíz del sitio, de tal forma que sea accesible a través de: www.example.com/robots.txt
No hay comentarios:
Publicar un comentario