Advanced XML Sitemap Consejos: 4 Páginas para excluir en un archivo TXT Robots

Un archivo de Robots TXT trabaja junto con un mapa del sitio XML para comunicarse con los robots buscadores, también conocido como arañas de los motores de búsqueda o bots. Estos son los scripts automáticos que viajan a la World Wide Web con el propósito de indización de contenido. Mientras que un mapa del sitio XML dice a los robots que páginas web que desea tener un índice, un archivo TXT Robots hace lo contrario, la lista de contenido web que usted no quiere robots para visitar porque quiere excluirlos de los motores de búsqueda. Su archivo Robots TXT puede no permitir el acceso a todo su sitio web, ciertas carpetas o páginas web específicas. El archivo se puede crear con el Bloc de notas en Windows o TextEdit en Mac, y debe guardarse en la raíz de tu dominio
.

Hay 4 tipos principales de contenido web que se quieren excluir de los motores de búsqueda utilizando una Robots TXT:

1. En-Progreso contenido

Imagínese que usted está renovando un gran sitio web. Cuando usted se asoma en los archivos del sitio web, usted encuentra que está lleno de páginas web obsoletas y peor aún, las páginas que traen errores o redirigir cuando la gente trata de acceder a ellos. Estos deben ser excluidos de su sitemap XML y añaden a su archivo TXT Robots, por lo que los motores de búsqueda no accidentalmente índice y enviar tráfico a ellos. No hay nada más frustrante para un usuario de la web que pensar que han llegado a la información exacta que necesitan, sólo para descubrir que la página en realidad no existe. Si usted está trabajando en todo el sitio por un tiempo, usted puede incluso utilizar el archivo TXT Robots para no permitir el acceso a todo su sitio web, por lo que buscar arañas de los motores no visite su sitio en absoluto.

2. Contenido privada

Como empresa, lo más probable es que usted tiene o está pensando en publicar contenido especial para las personas que pagan o se inscriban. Del mismo modo, puede proteger con contraseña las partes de su sitio web sólo para ciertos miembros de su equipo para ver. Obviamente, usted no quiere que ninguna de estas páginas a aparecer en los motores de búsqueda por todo el mundo lo vea. Al eliminar estas páginas de su sitemap XML y de insertarlos en su archivo Robots TXT, se envía un mensaje claro a los motores de búsqueda que las páginas son privadas y no deben ser mostrados como puntos de entrada del público a su sitio web.

3 . Baja Prioridad contenido

Teniendo en cuenta cómo los motores de búsqueda son programas automáticos, no se puede esperar que utilicen el sentido común cuando se echa un vistazo a su página web. Ellos toman sus decisiones sobre la base de cálculos, para que no conscientemente saben qué páginas web se considera más importante que los demás. Por razones que van desde el tráfico a los enlaces externos, una página triviales como su política de privacidad podría aparecer en la parte superior de los motores de búsqueda para determinadas palabras clave. Si no desea que ciertas páginas para ser tu primera impresión a los clientes potenciales y clientes, debe cambiar sus ajustes de prioridad en su sitemap XML y luego enumerarlos en su archivo Robots TXT.

4. El contenido duplicado

Los motores de búsqueda penalizan a los sitios web de contenido duplicado, porque los spammers utilizan para utilizar esta táctica para tratar de engañar al sistema. Esto significa que usted está en problemas si usted ofrece a sus espectadores una copia de la misma página web para imprimir, use http seguro (https) y menos seguro (http normal) versiones de las mismas páginas, o tienen diferentes URLs que apuntan a la mismo artículo de la tienda de comercio electrónico, por ejemplo. Hacer los motores de búsqueda que sabe que usted no está engañando a ellos a propósito identificando claramente la página canónica (o preferido) en su sitemap XML y lista los duplicados en el archivo TXT Robots para la exclusión Hotel  .;