lunes, 25 de enero de 2010
He encontrado una interesante herramienta online que te permite configurar y crear tu propio fichero robots.txt. Este fichero contiene recomendaciones de acceso que todos los crawlers y robots de buscadores deberían cumplir.
Mediante el fichero robots.txt podemos realizar varias acciones:
- Impedir acceso a determinados robots, muy útil sobre todo para evitar sobrecargas en el servidor.
- Prohibir el acceso a determinadas zonas, por ejemplo al área de administración de la web.
- Identificar la ubiación del sitemap.
- Eliminar contenido duplicado. Muy valorado por los buscadores.
