domingo, 11 de octubre de 2009
JohnMu, trabajador de Google, ha confirmado en el foro de ayuda para webmaster de Google, que su robot lee diariamente el fichero robots.txt de los servidores de páginas web que indexa.Supongo que realmente se refiere a que lee el fichero robots.txt cada vez pasa por una web, pero como máximo una vez por día, digo esto porque hay webs por las que pasa con muy poca frecuencia y por tanto dudo mucho que en estos casos también examine el fichero robots.txt
Visto en | SEOFemenino
