Todos contra Google

Generalmente siempre habíamos pensado que bloquear la indexación de las carpetas donde se encontraban los ficheros CSS y JS, era una buena opción para evitar que se indexaran archivos de programación o ficheros de comentarios (readme.txt) que estuvieran dentro de esas carpetas.

Pero tras el último post que ha publicado Google en su blog para webmaster parece que están teniendo algún problema para indexar el contenido de páginas dinámicas que cargan información mediante JavaScript (AJAX) y de forma bastante sutil, como siempre, nos están pidiendo que modifiquemos los archivos "robots.txt" para facilitarles al acceso a todos los contenidos de la web.

Cita del post de Google:

Si se bloquean recursos como JavaScript o CSS en diferentes archivos (por ejemplo, con robots.txt) y Googlebot no puede recuperarlos, nuestros sistemas de indexación no podrán ver tu sitio como un usuario común. Te recomendamos que permitas que Googlebot recupere datos en JavaScript y CSS para que tu contenido se pueda indexar mejor. Esto es especialmente importante en sitios web para móviles, en los que los recursos externos como CSS y JavaScript contribuyen a que nuestros algoritmos comprendan que las páginas están optimizadas para móviles.

No obstante, la mejor opción es utilizar la aplicación "Explorar como Google", dentro de las Herramientas para Webmasters de Google, para asegurarte de que los robots de búsqueda son capaces de leer e interpretar toda la información que ofreces en tu página web.

Y, en cualquier caso, si tienes dudas, déjale pasar. Es preferible que sea el robot de Google el que decida si debe o no mostrar esa información.