robots.txt

Es un archivo que indica a los buscadores como Google cuáles de las páginas del sitio web deben aparecer en las búsquedas y cuáles no. Se busca introduciendo la URL de la página en el navegador, añadiendo /robots.txt