IA y buscadores
Bloquear o no bloquear a los rastreadores de IA
Bloquear GPTBot y los demás protege tu contenido y te quita de las respuestas. La decisión depende de si vives de las visitas o de que te recomienden.
- Lectura 10 min
- Publicado
- Jesús Iturbide consultor SEO
- Cómo reviso estos artículos
En corto
Se puede impedir que los rastreadores de IA lean tu web con unas líneas en el fichero de robots, y cada servicio tiene el suyo. Bloquear protege tu contenido de ser usado para entrenar y te deja fuera de las recomendaciones; no bloquear es lo contrario. La decisión depende de qué vendes: un negocio local casi siempre gana estando dentro, un medio que vive de sus visitas no.
Cómo llega tu web a una respuesta generada
- Alguien pregunta
- El modelo busca y lee fuentes
- Responde citando dos o tres negocios
No hay segunda página: en una respuesta generada, o te nombran o no existes en esa conversación.
Y cambia sin avisar, así que esto no es un trabajo de una vez: es una medición repetida.
Es una decisión nueva que no existía hace unos años y que ahora hay que tomar en cada web. Y como casi todas las decisiones nuevas, se está tomando por imitación en vez de por criterio.
No hay una respuesta única. Hay dos situaciones muy distintas y conviene saber en cuál estás antes de copiar el fichero de robots de nadie.
Las dos familias, que no son lo mismo
| Rastreo para entrenar | Consulta en directo | |
|---|---|---|
| Para qué lee tu web | Recoger material para el modelo | Contestar una pregunta que alguien acaba de hacer |
| Te cita | No | Con frecuencia, con enlace |
| Te trae visitas | No | Sí, algunas |
| Bloquearlo te cuesta | Nada visible | Salir de las recomendaciones |
| Bloquearlo te da | Que tu contenido no alimente el modelo | Nada, salvo tranquilidad |
| A quién le compensa | A quien vive de vender su contenido | A casi nadie |
Cómo se bloquea
Se hace en el fichero de robots
En la raíz de tu dominio, con una regla por cada rastreador que quieras excluir.
Cada servicio tiene su nombre
Y varios tienen más de uno, uno para entrenar y otro para consultar. Hay que mirar la documentación de cada uno, que cambia.
Se puede bloquear solo una parte
Una sección concreta de la web en vez del sitio entero: por ejemplo, un archivo de contenido y no las páginas de servicio.
Se comprueba después
Leyendo el fichero publicado y revisando los registros del servidor para ver si esos rastreadores siguen pasando.
Se revisa cada pocos meses
Aparecen servicios nuevos y cambian los nombres. Un fichero escrito hace dos años está desactualizado.
Junto al fichero de robots, en la misma raíz, hay quien añade otro, el llms.txt: un resumen de la web pensado para los modelos, que de momento ningún gran servicio dice usar.
El error que hay que evitar
Qué gana cada tipo de negocio
Lo que bloquear no consigue
Bloquear no borra lo que ya se recogió, no impide que otros publiquen tu contenido y esas copias sí se lean, y no evita que un asistente hable de ti a partir de lo que dicen terceros. Es una medida hacia adelante y parcial, no un botón de retirada.
Y tiene un efecto secundario que conviene pensar: si te bloqueas y tu competencia no, las respuestas que hablen de tu sector se construirán con la información de ellos. En un negocio local, eso es exactamente lo contrario de lo que quieres.
La opción intermedia
Un caso: el bloqueo copiado
El coste de servidor, que sí es un motivo real
Hay una razón para bloquear que no es ideológica ni comercial y que casi no se menciona: el consumo. Algunos rastreadores pasan con mucha frecuencia y piden muchas páginas por minuto, y en un alojamiento compartido o en un servidor ajustado eso se nota en la factura o en la velocidad del sitio para las personas.
Antes de decidir por convicción conviene mirar el dato: en los registros del servidor, cuántas peticiones hace cada rastreador al día y qué proporción del total representan. En la mayoría de webs pequeñas es irrelevante. En webs con muchas páginas, a veces resulta que más de la mitad del tráfico del servidor son robots, y no todos aportan algo.
Cuando el consumo es el problema, la solución no tiene por qué ser bloquear del todo. Se puede limitar el ritmo de rastreo, restringir el acceso a las secciones pesadas, o cerrar solo aquello que genera muchas direcciones y ningún valor, como las combinaciones de filtros de una tienda.
Y hay una comprobación previa que evita disgustos: asegurarse de que quien está machacando el servidor es realmente quien dice ser. Cualquiera puede identificarse con el nombre de un rastreador conocido, y bloquear por nombre a un impostor no sirve de nada mientras el tráfico sigue llegando.
Qué mediría
En los registros del servidor, qué rastreadores pasan y con qué frecuencia. Y, del lado del efecto, si apareces citado al preguntar por tu especialidad y tu zona. Con esos dos datos la decisión deja de ser ideológica y pasa a ser una comprobación.
Conviene además dejar escrito qué se decidió y por qué, con la fecha, en el mismo sitio donde guardes las decisiones técnicas de la web. Dentro de un año habrá servicios nuevos y alguien va a proponer revisar el fichero de robots; sin ese registro, la conversación empieza otra vez desde cero y se acaba copiando lo que haga la competencia. Y una revisión semestral en el calendario, de quince minutos, basta: se mira si han aparecido rastreadores nuevos, si los nombres han cambiado y si lo que decidiste sigue teniendo sentido para el negocio que tienes ahora, que no tiene por qué ser el de entonces.
Preguntas frecuentes
¿Cómo bloqueo a los rastreadores de IA?
Con reglas en el fichero de robots de la raíz de tu dominio, una por cada rastreador que quieras excluir. Cada servicio tiene su nombre y varios tienen más de uno, uno para entrenar y otro para consultar en directo. La documentación de cada servicio dice cuáles son, y cambia con el tiempo.
¿Bloquearlos me quita visitas?
Depende de cuáles bloquees. Los que recogen material para entrenar no te traen visitas, así que bloquearlos no cuesta tráfico. Los que consultan en directo sí citan y sí traen algunas visitas: bloquear esos es salir de las recomendaciones. Confundir las dos familias es el error más común.
¿A quién le compensa bloquear?
Sobre todo a quien vive de vender el contenido en sí, suscripciones, cursos, bases de datos, o a quien tiene material propio caro de producir y fácil de copiar. A un negocio local o de servicios normalmente no: le interesa que le recomienden, y su contenido existe para atraer clientes.
¿Bloquear borra lo que ya se recogió?
No: es una medida hacia adelante y parcial. No borra lo recogido, no impide que copias de tu contenido publicadas en otros sitios se lean, y no evita que se hable de ti a partir de lo que dicen terceros. Conviene saberlo antes de esperar de ello más de lo que da.
¿Puedo copiar un fichero de robots que he visto en internet?
Es la forma más rápida de bloquear sin querer al rastreador del buscador de siempre, que es el que te trae casi todas las visitas. Algunas plantillas que circulan incluyen reglas ambiguas o de más. Antes de publicar nada copiado, comprueba a quién afecta cada línea y verifica la accesibilidad.
Revisar el fichero de robots y comprobar que no bloqueas lo que no quieres es SEO técnico; decidir cómo quieres aparecer en las respuestas, SEO para IA. Si sospechas que algo impide que te lean, empieza por cómo saber si Google tiene indexada tu web y por por qué tu web no aparece en Google: las siete causas que más veo. Para el diagnóstico completo, una auditoría SEO.
Si te está pasando
La primera llamada no cuesta nada y suele bastar para saber si tiene arreglo. Si tu caso no es para mí, te lo digo.
