Google sitemap y robots

La función del archivo robots.txt de Google

  • by

El archivo robots.txt le indica a al buscador de Google que archivos y directorios deseas que sean considerados para ser indexados. Ahora veamos las funciones básicas. El archivo robots.txt se basa en un protocolo denominado Robots Exclusion Protocol, que es un estándar universal que consta de un pequeño pequeño grupo de comandos que indican a los robots de los buscadores que deben considerar y que debe excluir al llegar a tu sitio. Comandos… Leer más »La función del archivo robots.txt de Google