Todo lo que necesita saber sobre el encabezado HTTP X-Robots-Tag

La optimización de motores de búsqueda, en su sentido más básico, se basa en una cosa por encima de todo: los rastreadores de motores de búsqueda rastrean e indexan su sitio.

Pero casi todos los sitios web tendrán páginas que no desea incluir en este rastreo.

Por ejemplo, ¿realmente desea que su política de privacidad o las páginas de búsqueda internas aparezcan en los resultados de Google?

En el mejor de los casos, estos no hacen nada para dirigir activamente el tráfico a su sitio y, en el peor de los casos, podrían desviar el tráfico de páginas más importantes.

Afortunadamente, Google permite a los webmasters decirles a los rastreadores de motores de búsqueda qué páginas y contenido rastrear y qué ignorar. Hay varias formas de hacer esto, la más común es usar un archivo robots.txt o la metaetiqueta robots.

Tenemos una gran explicación detallada de los entresijos de robots.txt, que definitivamente deberías leer.

Pero en términos generales, es un archivo de texto sin formato que reside en la raíz de su sitio web y sigue el Protocolo de exclusión de robots (REP).

Robots.txt proporciona a los robots instrucciones para el sitio en su conjunto, mientras que la metaetiqueta robots incluye instrucciones para páginas específicas.

Algunas etiquetas meta de robots que podría usar incluyen pistaque le dice a los motores de búsqueda que agreguen la página a su índice; sin índiceque le dice que no agregue la página al índice ni la incluya en los resultados de búsqueda; seguirque le pide a un motor de búsqueda que siga los enlaces en una página; sin seguimientoquien le dice que no siga los enlaces, y muchos otros.

Las etiquetas robots.txt y meta robots son herramientas útiles para mantener en su kit de herramientas, pero también hay otra forma de decirle a los robots de los motores de búsqueda que no indexen o no sigan: X-Robots-Etiqueta.

¿Qué es la etiqueta X-Robots?

La etiqueta X-Robots es otra forma de controlar cómo las arañas rastrean e indexan sus páginas web. Como parte de la respuesta del encabezado HTTP a una URL, controla la indexación de una página completa, así como elementos específicos de esa página.

Y mientras que usar etiquetas de meta robots es bastante simple, X-Robots-Tag es un poco más complicado.

Pero esto, por supuesto, plantea la pregunta:

¿Cuándo usar la etiqueta X-Robots?

Según Google, «cualquier directiva que se pueda usar en una metaetiqueta de robots también se puede especificar como una etiqueta X-Robots».

Aunque puede definir directivas relacionadas con robots.txt en los encabezados de una respuesta HTTP tanto con la metaetiqueta de robots como con la etiqueta X-Robots, hay ciertas situaciones en las que le gustaría usar la etiqueta X-Robots, las dos más ser común cuando:

• Desea controlar cómo se rastrean e indexan sus archivos que no son HTML.
• Desea ofrecer pautas para todo el sitio en lugar de a nivel de página.

Por ejemplo, si desea evitar que se rastree una imagen o un video específicos, el método de respuesta HTTP se lo pone fácil.

El encabezado X-Robots-Tag también es útil porque le permite combinar varias etiquetas en una respuesta HTTP o usar una lista de directivas separadas por comas para especificar directivas.

Tal vez no desee que una página determinada se almacene en caché y no esté disponible después de una fecha determinada. Puede usar una combinación de etiquetas «noarchive» y «unavailable_after» para indicar a los rastreadores de motores de búsqueda que sigan estas instrucciones.

Esencialmente, el poder de la etiqueta X-Robots es que es mucho más flexible que la etiqueta meta robots.

La ventaja de usar un X-Robots-Tag con las respuestas HTTP es que le permite usar expresiones regulares para ejecutar directivas de análisis en no HTML, así como aplicar configuraciones a un nivel global más amplio.

Para ayudarlo a comprender la diferencia entre estas directivas, es útil categorizarlas por tipo. En otras palabras, ¿son directivas de rastreador o directivas de indexador?

Aquí hay una práctica hoja de trucos para explicar:

Directrices del rastreador	Directrices de indexación
Robots.txt – utiliza directivas de agente de usuario, permiso, rechazo y mapa del sitio para especificar dónde se permite rastrear y dónde no se permite rastrear a los rastreadores de motores de búsqueda en el sitio.	Etiqueta Meta Robots – le permite especificar y evitar que los motores de búsqueda muestren páginas particulares en un sitio en los resultados de búsqueda. sin seguimiento – le permite especificar enlaces que no deben pasar autoridad o PageRank. Etiqueta X-Robots – le permite controlar cómo se indexan los tipos de archivos especificados.

¿Dónde se coloca la etiqueta X-Robots?

Suponga que desea bloquear tipos de archivos específicos. Un enfoque ideal sería agregar la etiqueta X-Robots a una configuración de Apache o un archivo .htaccess.

La etiqueta X-Robots se puede agregar a las respuestas HTTP de un sitio en una configuración de servidor Apache a través del archivo .htaccess.

Ejemplos concretos y usos de X-Robots-Tag

Así que suena bien en teoría, pero ¿cómo se ve en el mundo real? Echaremos un vistazo.

Digamos que queremos que los motores de búsqueda no indexen los tipos de archivos .pdf. Esta configuración en servidores Apache se vería así:

<Files ~ ".pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>

En Nginx, se vería así:

location ~* .pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Ahora veamos un escenario diferente. Digamos que queremos usar X-Robots-Tag para bloquear la indexación de archivos de imagen, como .jpg, .gif, .png, etc. Puede hacer esto con una etiqueta X-Robots que se vería así:

<Files ~ ".(png|jpe?g|gif)$">
Header set X-Robots-Tag "noindex"
</Files>

Tenga en cuenta que es crucial entender cómo funcionan estas pautas y cómo se impactan entre sí.

Por ejemplo, ¿qué ocurre si se localizan la etiqueta X-Robots y una metaetiqueta de robots cuando los rastreadores descubren una URL?

Si esta URL está bloqueada de robots.txt, ciertas directivas de indexación y publicación no se pueden descubrir y no se seguirán.

Si se deben seguir las pautas, no se puede prohibir el rastreo de las URL que las contienen.

Encuentre una baliza de X-Robots

Hay varios métodos diferentes que se pueden utilizar para buscar una etiqueta X-Robots en el sitio.

La forma más fácil de verificar es instalar una extensión del navegador que le mostrará la información de la etiqueta X-Robots en la URL.

Captura de pantalla de Robots Exclusion Checker, diciembre de 2022

Otro complemento que puede usar para determinar si se está utilizando una etiqueta X-Robots, por ejemplo, es el complemento Web Developer.

Al hacer clic en el complemento en su navegador y navegar a «Mostrar encabezados de respuesta», puede ver los diferentes encabezados HTTP utilizados.

Otro método que se puede usar para escalar e identificar problemas en sitios web con un millón de páginas es Screaming Frog.

Después de ejecutar un sitio a través de Screaming Frog, puede acceder a la columna «X-Robots-Tag».

Esto le mostrará qué secciones del sitio usan la etiqueta, así como qué pautas específicas.

Captura de pantalla del informe Screaming Frog. X-Robot-Tag, diciembre de 2022

Use X-Robots-Tags en su sitio

Comprender y controlar cómo los motores de búsqueda interactúan con su sitio web es la piedra angular de la optimización de motores de búsqueda. Y X-Robots-Tag es una poderosa herramienta que puede usar para hacer precisamente eso.

Solo tenga en cuenta: no es seguro. Es muy fácil cometer un error y desindexar todo tu sitio.

Dicho esto, si estás leyendo este artículo, probablemente no seas un novato en SEO. Siempre que lo use sabiamente, se tome su tiempo y verifique su trabajo, encontrará que la etiqueta X-Robots es una adición útil a su arsenal.

Más recursos:

---

Imagen destacada: Song_about_summer/Shutterstock

var s_trigger_pixel_load = false; function s_trigger_pixel(){ if( !s_trigger_pixel_load ){ setTimeout(function(){ striggerEvent( 'load2' ); }, 500); window.removeEventListener("scroll", s_trigger_pixel, false ); window.removeEventListener("mousemove", s_trigger_pixel, false ); window.removeEventListener("click", s_trigger_pixel, false ); console.log('s_trigger_pixel'); } s_trigger_pixel_load = true; } window.addEventListener( 'scroll', s_trigger_pixel, false); document.addEventListener( 'mousemove', s_trigger_pixel, false); document.addEventListener( 'click', s_trigger_pixel, false);

window.addEventListener( 'load2', function() {

if( sopp != 'yes' && addtl_consent != '1~' && !ss_u ){

!function(f,b,e,v,n,t,s) {if(f.fbq)return;n=f.fbq=function(){n.callMethod? n.callMethod.apply(n,arguments):n.queue.push(arguments)}; if(!f._fbq)f._fbq=n;n.push=n;n.loaded=!0;n.version='2.0'; n.queue=[];t=b.createElement(e);t.async=!0; t.src=v;s=b.getElementsByTagName(e)[0]; s.parentNode.insertBefore(t,s)}(window,document,'script', 'https://connect.facebook.net/en_US/fbevents.js');

if( typeof sopp !== "undefined" && sopp === 'yes' ){ fbq('dataProcessingOptions', ['LDU'], 1, 1000); }else{ fbq('dataProcessingOptions', []); }

fbq('init', '1321385257908563');

fbq('track', 'PageView');

fbq('trackSingle', '1321385257908563', 'ViewContent', { content_name: 'everything-you-need-to-know-about-the-x-robots-tag', content_category: 'seo technical-seo' }); } });

La entrada Todo lo que necesita saber sobre el encabezado HTTP X-Robots-Tag se publicó primero en Seo Con SEM.

source https://seoconsem.es/2022/12/28/todo-lo-que-necesita-saber-sobre-el-encabezado-http-x-robots-tag-2/