Publicado por : Ignacio Cisneros lunes, 25 de enero de 2010
COMPARTE →

He encontrado una interesante herramienta online que te permite configurar y crear tu propio fichero robots.txt. Este fichero contiene recomendaciones de acceso que todos los crawlers y robots de buscadores deberían cumplir.




Mediante el fichero robots.txt podemos realizar varias acciones:
  • Impedir acceso a determinados robots, muy útil sobre todo para evitar sobrecargas en el servidor.
  • Prohibir el acceso a determinadas zonas, por ejemplo al área de administración de la web.
  • Identificar la ubiación del sitemap.
  • Eliminar contenido duplicado. Muy valorado por los buscadores.
El fichero robots.txt debe estar colocado en el directorio raíz del sitio, de tal forma que sea accesible a través de: www.example.com/robots.txt

Comenta

RSS Posts | RSS Comentarios

Con la tecnología de Blogger.

- Copyright © Todos contra Google - El blog de Ignacio Cisneros - icisneros - Original design by Johanes Djogan modified by Ignacio Cisneros-