El archivo robots.txt le indica al buscador de Google que archivos y directorios deseas que sean considerados para ser indexados.