Como decir a los robots que ver en nuestro Joomla – HR tu web
Home / HR tu web / Como decir a los robots que ver en nuestro Joomla

Como decir a los robots que ver en nuestro Joomla

Esta información funciona para los robots de cualquier página web, pero en este caso nos vamos a centrar en los robots para Joomla. Hay plugins específicos para hacer este servicio, pero a veces preferimos hacerlo nosotros mismos, para tener controlado mejor que rastrean los robots y que no, sobre todo cuando hay apartados específicos que no deben ser incluidos en buscadores.

Para evitar que ciertos robots visiten nuestro Joomla o eviten cierto contenido, debemos usar el fichero robots.txt en el raíz de nuestra hospedaje. Este fichero indica a los buscadores que páginas del sitio pueden rastrear para indexarlas. Al utilizar el archivo robots.txt, nos permite obtener mejores resultados en SEO.

Este fichero no se usa para bloquear o como medida de seguridad, es mas bien como “recomendaciones” a los motores de búsqueda. Ciertos buscadores se saltan estas recomendaciones y si lo que queremos es bloquear permanentemente, debemos utilizar el htaccess.

En Joomla podemos encontrar el archivo de la siguiente forma:

Indica que las reglas se aplican para todos los robots:
User-agent: *
Indica las carpetas a las que los robots no pueden acceder:

Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

Algunas sugerencias que aquí mostramos valen para otros sitios aunque no estén montados bajo joomla, seria ajustar las rutas correctas.

  • La carpeta de imágenes viene excluida, podemos cambiarla a Allow: /images/ para que se indexen las imágenes del sitio Web.
  • También podemos agregar el o los mapas de sitio a Sitemap: https://www.hrtuweb.es/sitemap.xml
  • Para bloquear el acceso a todas las direcciones URL que incluyan un signo de interrogación, como https://www.hrtuweb.es/component/search/?searchword se puede utilizar la siguiente entrada: Disallow: /*?

6. Si Joomla se instala en una subcarpeta del tipo https://www.hrtuweb.es/joomla, entonces el archivo robots.txt que viene en la instalación debe moverse a la raíz del sitio y modificar las rutas dentro del mismo.

Disallow: /joomla/administrator/
Disallow: /joomla/cache/
Disallow: /joomla/cli/
Disallow: /joomla/components/
Disallow: /joomla/images/
Disallow: /joomla/includes/

. . . . . .

Algunas herramientas online

http://www.sxw.org.uk/computing/robots/check.html

https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

Un Generador de robots.txt
https://www.internetmarketingninjas.com/seo-tools/robots-txt-generator/

Share Button
Top

Este sitio web utiliza cookies para que usted tenga la mejor experiencia de usuario. Si continúa navegando da su consentimiento para la aceptación de nuestra política de privacidad y cookies, pinche el enlace para mayor información.

ACEPTAR
Aviso de cookies