Crawl budget: qué es y cómo optimizarlo

Qué es el crawl budget

El crawl budget, o presupuesto de rastreo, es la cantidad de recursos que un buscador está dispuesto a dedicar a recorrer un sitio en un periodo determinado. Google lo describe como la combinación de dos factores independientes.

El primero es el límite de capacidad de rastreo. Google intenta no degradar la experiencia de quienes navegan por tu web, así que ajusta el número de conexiones simultáneas y el tiempo entre peticiones según cómo responda tu servidor. Si el sitio contesta rápido y sin errores, el límite sube; si empieza a devolver tiempos de espera altos o errores de servidor, baja.

El segundo es la demanda de rastreo: cuánto le interesa a Google volver a pasar. Depende del inventario de URL que conoce, de la popularidad de esas URL, de cada cuánto cambian de verdad y de si el sitio ha movido o reestructurado su contenido. Un catálogo que se actualiza a diario genera más demanda que una web corporativa que lleva dos años igual.

El presupuesto real es el mínimo de los dos. Un servidor rapidísimo no consigue más rastreo si el contenido no da motivos para volver, y un contenido que cambia mucho no se rastrea si el servidor no aguanta.

Cómo rastrea Google

Googlebot es el conjunto de rastreadores que recorren la web siguiendo enlaces y sitemaps. Cuando llega a una URL descarga el HTML, extrae los enlaces que encuentra y los añade a una cola. Después, en un proceso distinto, renderiza la página para ver también lo que genera el JavaScript, y solo más tarde decide si la indexa.

Conviene separar tres cosas que se confunden a menudo: rastrear es visitar la URL, indexar es guardarla como candidata a aparecer en resultados y posicionar es ordenarla frente a otras para una búsqueda concreta. Que Google rastree una página no implica que la indexe, y que la indexe no implica que la muestre.

El presupuesto se consume por URL solicitada, no por página útil. Las imágenes, los archivos CSS y JavaScript, las versiones alternativas de una misma página, las llamadas a la API que necesita el renderizado y las redirecciones intermedias cuentan todas. Por eso una web con pocas páginas visibles puede estar generando miles de peticiones.

A qué webs les importa de verdad

Aquí es donde la mayoría de los artículos sobre crawl budget exageran. La propia guía de Google es explícita: la gestión del presupuesto de rastreo solo es un asunto relevante para sitios muy grandes, o para sitios medianos que cambian de contenido a diario. Si tus páginas nuevas aparecen indexadas el mismo día que las publicas, el crawl budget no es tu problema.

Los perfiles en los que sí merece atención son las tiendas online con navegación por filtros, los portales con buscadores internos indexables, los medios con archivos históricos enormes, los agregadores y cualquier sitio que genere URL de forma automática a partir de parámetros.

En una web de servicios de treinta páginas, dedicar horas a optimizar el rastreo es tiempo mal invertido. Eso no significa que dé igual: los mismos problemas que se comen el presupuesto en un sitio grande, sobre todo la duplicación y las redirecciones encadenadas, también degradan el SEO de un sitio pequeño. Simplemente se resuelven por otro motivo.

Qué se come el presupuesto de rastreo

Casi siempre es lo mismo: URL que existen sin que nadie las haya querido crear. Estos son los sospechosos habituales, en orden aproximado de frecuencia.

• Navegación por facetas y parámetros: cada combinación de filtros y ordenaciones genera una URL distinta con el mismo contenido reordenado.
• Contenido duplicado o casi duplicado: fichas de producto que solo cambian en la talla, versiones con y sin barra final, mayúsculas, http y https, con y sin www.
• Resultados del buscador interno indexables, que generan URL infinitas a partir de cualquier término.
• Espacios infinitos: calendarios, paginaciones sin fin, identificadores de sesión en la URL.
• Soft 404: páginas que dicen que no hay nada pero devuelven un código 200, así que Google las sigue visitando.
• Cadenas de redirecciones: cada salto es una petición más antes de llegar al destino.
• Páginas de baja calidad o vacías que se publicaron y nunca se retiraron.
• Contenido hackeado o spam inyectado, que suele multiplicar las URL de golpe.

Cómo optimizar el crawl budget

La lógica de fondo es simple: reduce el número de URL que no aportan, facilita encontrar las que sí y responde rápido.

• Consolida los duplicados con una URL canónica clara y con redirecciones 301 permanentes, no con cadenas de saltos.
• Bloquea en robots.txt lo que no debe rastrearse: buscador interno, carritos, filtros combinables, páginas de acción. Bloquear evita la petición; noindex no, porque para leer la etiqueta hay que descargar la página.
• Devuelve 404 o 410 de verdad para lo que ya no existe. El 410 le indica a Google que la retirada es definitiva.
• Mantén un sitemap XML limpio, solo con URL indexables y con la fecha de última modificación real.
• Cuida el enlazado interno: si una página solo es accesible desde el sitemap, tiene pocas señales de importancia. Los enlaces deben ser etiquetas con href rastreable, no eventos de JavaScript.
• Revisa y arregla los enlaces rotos y las redirecciones encadenadas de forma periódica.
• Mejora el tiempo de respuesta del servidor y el peso de la página. Cuanto menos tarda cada petición, más URL entran en el mismo presupuesto.
• Elimina o fusiona páginas que no reciben visitas ni responden a ninguna búsqueda. Menos inventario y mejor.

Lo que no funciona

Hay varias supuestas técnicas de optimización del rastreo que no hacen nada. La directiva crawl-delay en robots.txt no la aplica Googlebot. Los valores de prioridad y frecuencia de cambio del sitemap tampoco se usan para decidir el rastreo. La herramienta de retirada de URL de Search Console oculta un resultado temporalmente, pero no libera presupuesto.

Tampoco ayuda añadir páginas por añadir. Publicar contenido de relleno para tener más URL indexadas aumenta el inventario que Google debe recorrer sin aumentar la demanda, así que el efecto neto suele ser el contrario del buscado.

Y conviene desconfiar de la idea de que rastrear más equivale a posicionar mejor. El rastreo es una condición necesaria: si Google no ve la página, no puede mostrarla. Pero visitar más veces una página mediocre no la convierte en relevante.

Cómo medirlo

El informe de estadísticas de rastreo de Search Console es el punto de partida gratuito: muestra cuántas peticiones hace Google al día, cuánto tarda tu servidor en responder de media, qué códigos de respuesta devuelve y qué tipo de archivo está descargando. Un aumento de errores 5xx o una subida del tiempo medio de respuesta explican por sí solos una caída del rastreo.

Para un análisis serio en sitios grandes, la fuente real son los logs del servidor. Ahí se ve qué URL concretas visita Googlebot, con qué frecuencia y cuánto de ese esfuerzo se está yendo a páginas que ni siquiera quieres indexar. Es la única forma de cuantificar el desperdicio en lugar de suponerlo.

Cruzar ambas fuentes con el informe de cobertura, el de páginas indexadas, permite responder a la pregunta que importa: de todas las URL que Google se molesta en visitar, cuántas acaban siendo páginas que quieres que existan.