IA de lectura web: un contrato de tres puntos para páginas bloqueadas

Una recuperación bloqueada es una decisión de producto

Tu lector solicita una página y recibe un rechazo. El sistema debe indicar si obtuvo la página, parte de la página o una fuente diferente en su lugar.

Los rechazos se están volviendo lo habitual. Los sistemas automatizados, no las personas, generan ahora el 57,5 % de todas las solicitudes HTTP. Una función de lectura web se encontrará con muros de pago, muros de consentimiento, filtros de bots y decisiones de los editores.

El fallo a evitar es la sustitución silenciosa: el modelo detecta un bloqueo, recupera una copia en caché, un resumen o un artículo relacionado y presenta el resultado como si se hubiera leído el original. Los usuarios pueden perdonar una respuesta degradada. No pueden perdonar una oculta.

El contrato convierte una solicitud bloqueada en una respuesta legible

Primero, clasifica la recuperación antes de que el modelo escriba. «Alcanzada» significa que la página solicitada devolvió contenido utilizable. «Parcial» significa que se devolvió algo de contenido, pero la página fue truncada, se renderizó sin secciones clave o se sirvió un desafío. «Bloqueada» significa que la solicitud fue rechazada, redirigida a una barrera o devolvió un error que impide leer el destino.

La clasificación importa porque los editores están endureciendo el control sobre el tráfico de IA. Los nuevos controles de tráfico de IA de Cloudflare permiten a los clientes un control independiente de activación/desactivación sobre los rastreadores utilizados para búsqueda, entrenamiento de IA o agentes de IA. Para nuevos dominios, el valor predeterminado de Cloudflare del 15 de septiembre de 2026 denegará el acceso a los bots clasificados como Training o Agent cuando la página muestre anuncios, manteniendo el acceso de Search permitido. Los clientes tienen un plazo antes del 15 de septiembre de 2026 para rechazar los nuevos valores predeterminados de bots de IA de Cloudflare.

Las configuraciones de bloqueo de entrenamiento de IA de Cloudflare cubren rastreadores que sirven tanto a fines de Search como de Training, incluida la opción legacy Block AI bots. Bajo esos controles, los rastreadores de múltiples fines como Googlebot, Applebot y Bingbot están sujetos a la configuración más restrictiva, por lo que serían bloqueados si un editor bloquea los rastreadores de entrenamiento. Una función que se etiqueta como asistente de búsqueda aún puede ser tratada como un agente o rastreador de entrenamiento por el sitio que visita.

Asumir que cada página pública es legible fallará en sitios comerciales ordinarios. Trata el bloqueo como una señal sobre la fuente, no como un impulso para improvisar.

Segundo, divulga la cobertura, no la confianza. La respuesta debe indicar qué pudo y qué no pudo alcanzar el recuperador. Pide al recuperador que informe qué secciones se leyeron, cuáles faltaron y si la respuesta depende de una fuente de respaldo.

La divulgación debe ser breve. Una línea como No pude leer la página completa, por lo que esta respuesta utiliza una copia en caché de principios de este mes es mejor que un párrafo confiado. El usuario necesita información suficiente para decidir si la respuesta es segura para usarla.

Tercero, haz que la estrategia de fuente de respaldo sea parte de la respuesta. Un respaldo debe ser una elección nombrada: copia en caché, fuente relacionada, texto proporcionado por el usuario o sin respuesta. La función debe decidir el respaldo antes de que el modelo escriba, no después de que el modelo ya haya producido una respuesta verosímil.

Una buena estrategia de respaldo respeta la intención del usuario: para una página específica, indica qué no es; para una respuesta general, puede ser más amplia pero aún nombra la fuente; para un hecho que depende del estado actual de la página, indica que el hecho puede estar desactualizado.

La lista de verificación hace el contrato testeable

Realiza estas comprobaciones antes de lanzar una función de lectura web. Cada una protege al usuario de un fallo de confianza diferente.

• Etiqueta cada resultado de recuperación como alcanzada, parcial o bloqueada antes de que el modelo componga la respuesta.
• Muestra la URL de destino, el estado y la razón por la que la página no se leyó por completo.
• Indica qué partes de la respuesta provienen de la página solicitada y cuáles de una fuente de respaldo.
• Si el respaldo es una copia en caché, indica cuándo se capturó y si puede estar desactualizada.
• Si el respaldo es una fuente relacionada, indica por qué es relevante y qué no cubre.
• Dale al usuario una vía para reintentar, abrir el original o continuar con la respuesta degradada.

La clasificación va antes de la composición. Si el recuperador no puede indicar si alcanzó la página, la respuesta no puede reclamar cobertura; un error sin más se convierte en una divulgación del rechazo, la redirección, el desafío o el elemento faltante.

Los límites del respaldo deben ser explícitos. Una copia en caché y una fuente relacionada no son la página en vivo ni la afirmación solicitada, por lo que el usuario puede ver la diferencia antes de confiar en la respuesta.

Las últimas comprobaciones detectan la deriva y mantienen la vía abierta. Un resumen de noticias puede ser cierto en general y erróneo para la página específica, mientras que el usuario puede tener una sesión, una suscripción o una preferencia por una fuente diferente.