Problemas de posicionamiento en Drupal 6 por una mala configuración del archivo robots.txt

Hay un fallo de posicionamiento con google (en realidad no es un fallo, sino más bien que el archivo robots.txt que viene por defecto no es del todo correcto y se puede/debe mejorar) en sitios web hechos con Drupal 6.

Se trata de la indexación de las páginas como la del formulario de registro de usuarios o de petición de nuevo password, y que en realidad no interesa que se indexen. 

Como ya saben aquellos que tienen conocimientos de SEO (posicionamiento en buscadores), los problemas de indexación de páginas que no interesa indexar se resuelven (siempre que el robot que esté indexando el sitio web cumpla el estándar de exclusión de robots):

• con atributos "nofollow" en los enlaces.
• o con el archivo robots.txt en el espacio donde se aloja el sitio web.

La imágen siguiente muestra un ejemplo de dicho problema.

Esto ocurre en sitios web que tengan pocas páginas o con pocos enlaces de entrada, o que llevan poco tiempo en marcha y por lo tanto tienen poco contenido. Aunque el problema seguramente deje de ocurrir cuando se cree más contenido, y este se indexe, y/o las páginas que realmente importan ganen peso a traves de enlaces en otras páginas, siempre es interesante invertir los cinco segundos que cuesta adecuar el archivo robots.txt en drupal para corregir el error.

La solución pasa por quitar las barras finales (trailing slashes) en el archivo que viene con la descarga del core de Drupal 6 y transformar las líneas:

Disallow: /user/register/

Disallow: /user/password/

en:

Disallow: /user/register

Disallow: /user/password

Esto aplicado al caso que presento, aunque sería interesante revisar, por si acaso, otras como:

Disallow: /user/login

En la imagen siguiente se puede ver como el problema no ocurre si usamos bing de Microsoft para realizar la búsqueda. Posiblemente sea por que bing le da más peso al contenido que a la url o al hecho de que determinadas páginas formen parte del mismo dominio.

Podeis encontrar más informacíon (en ingles) sobre estos temas en http://tips.webdesign10.com/drupal/drupalorg-seo-part-one-322.html