Robots.txt. Para que sirve y como crearlo correctamente.
El archivo de texto robots.txt, se crea con la finalidad de que un sitio de Internet o página web, pueda informar a los robots de los buscadores (arañas), de las carpetas, páginas, imágenes o distintos tipos de ficheros que deben o...
