Tengo un subdominio que no quiero que aparezca en ningún resultado del motor de búsqueda. Digamos que tengo:
http://www.example.comhttp://child.example.com¿Cómo puedo ocultar todas las URL de child.example.comdominio que se muestran actualmente en los resultados del motor de búsqueda?
Respuestas:
En la raíz del directorio del sitio web del subdominio, agregue un archivo llamado robots.txt que contenga:
User-agent: *
Disallow: /
Esto le indicará a los rastreadores web que no indexen el sitio en absoluto. No tienen que obedecer, pero los principales sí.
noindexal índice y otras páginas en el subdominio
El uso de un archivo robots.txt en su subdominio ayudará (y Google obedecerá esto), pero otro paso que puede tomar es especificar con una cuenta de Google Webmasters que no desea que este subdominio sea indexado. También puede usar una metaetiqueta en todas las páginas del subdominio:
<meta name="robots" content="noindex">
Si se trata de un sitio que solo está utilizando para pruebas internas, limitar la visibilidad a un conjunto específico de direcciones IP en su archivo de hosts virtuales ocultaría aún más el sitio.
metaetiqueta noindex en cada página, puede devolver un X-Robots-Tagencabezado de respuesta HTTP de su servidor para el subdominio especificado; esto solo debe hacerlo una vez.
Las soluciones de Kenzo y Paul son buenas, puede colocar metaetiquetas noindex en sus páginas web y agregar robots.txt para no permitir a los robots.
Pero en mi opinión, la mejor solución es utilizar la autenticación de contraseña en su subdominio. Esta es la única solución que está seguro de que los robots pueden acceder e indexar su sitio web. Si usa Apache, puede implementar htpasswd .
... actualmente se muestra en los resultados de SEO?
Las otras respuestas tienen más que ver con la prevención proactiva de la indexación de un (sub) dominio (que es principalmente lo que está preguntando en la pregunta) en lugar de eliminar activamente sus páginas de los resultados de búsqueda, lo que podría ser más lo que busca, a juzgar por su otra pregunta .
Todavía necesita bloquear su sitio en robots.txt y servir una etiqueta noindex meta (o X-Robots-Tagencabezado de respuesta HTTP), como se indica en las otras respuestas, pero también debe bloquear el acceso a sus páginas, devolviendo un código de estado 404 o 410.
Puede leer más sobre esto en la página de ayuda de las Herramientas para webmasters de Google:
Requisitos para eliminar contenido
Una vez que tenga todo esto en su lugar, puede usar la herramienta Eliminar URL en las Herramientas para webmasters de Google. Sin embargo, esto solo se aplica a URL individuales, no a un sitio completo, pero es un comienzo. (Google declara que usar robots.txt, noindex y servir un 404 son los requisitos para usar la herramienta de eliminación de GWT).
Sin embargo, si aún desea que los usuarios habituales puedan acceder al sitio escribiendo la URL, entonces es un problema, ya que su contenido ya no está disponible. Puede usar una contraseña, como sugiere Zistoloen, sin embargo, esto devolverá un 403 (Prohibido) de forma predeterminada que deberá anular para devolver un 404/410. Puede ocultar su contenido, devolver un 410 al Googlebot y permitir que todos los demás ingresen, pero ¿qué pasa con las personas que hacen clic en los resultados en los SERP?
Pero si desea que Google elimine su contenido en el menor tiempo posible, entonces debe eliminarlo de Internet "Google".