El presupuesto de rastreo indica qué tan rápido y cuántas páginas desea rastrear un motor de búsqueda en su sitio. Se ve afectado por la cantidad de recursos que un rastreador desea usar en su sitio y la cantidad de rastreo que admite su servidor.
Más rastreo no significa que tendrá una mejor clasificación, pero si sus páginas no se rastrean e indexan, no se clasificarán en absoluto.
La mayoría de los sitios no necesitan preocuparse por el presupuesto de rastreo, pero hay algunos casos en los que es posible que desee echar un vistazo. Veamos algunos de esos casos.
Por lo general, no tiene que preocuparse por el presupuesto de rastreo en páginas populares. Por lo general, las páginas que son más nuevas, que no están bien vinculadas o que no cambian mucho, no se rastrean con frecuencia.
El presupuesto de rastreo puede ser una preocupación para los sitios más nuevos, especialmente aquellos con muchas páginas. Es posible que su servidor admita más rastreo, pero debido a que su sitio es nuevo y probablemente aún no sea muy popular, es posible que un motor de búsqueda no quiera rastrear su sitio mucho. Esto es principalmente una desconexión en las expectativas. Quiere que sus páginas sean rastreadas e indexadas, pero Google no sabe si vale la pena indexarlas y es posible que no quiera rastrear tantas páginas como desee.
El presupuesto de rastreo también puede ser una preocupación para los sitios más grandes con millones de páginas o sitios que se actualizan con frecuencia. En general, si tiene muchas páginas que no se rastrean o actualizan con la frecuencia que desea, es posible que desee considerar la posibilidad de acelerar el rastreo. Hablaremos sobre cómo hacerlo más adelante en el artículo.
Si desea ver una descripción general de la actividad de rastreo de Google y cualquier problema que hayan identificado, el mejor lugar para buscar es el informe Estadísticas de rastreo en Google Search Console.
Aquí hay varios informes para ayudarlo a identificar cambios en el comportamiento de rastreo, problemas con el rastreo y brindarle más información sobre cómo Google rastrea su sitio.
Definitivamente desea ver cualquier estado de rastreo marcado como los que se muestran aquí:
También hay marcas de tiempo de cuándo se rastrearon las páginas por última vez.
Si desea ver los resultados de todos los bots y usuarios, necesitará acceder a sus archivos de registro. Dependiendo del alojamiento y la configuración, es posible que tenga acceso a herramientas como Awstats y Webalizer, como se ve aquí en un host compartido con cPanel. Estas herramientas muestran algunos datos agregados de sus archivos de registro.
Para configuraciones más complejas, tendrá que obtener acceso y almacenar datos de los archivos de registro sin procesar, posiblemente de múltiples fuentes. También puede necesitar herramientas especializadas para proyectos más grandes, como un ALCE (elasticsearch, logstash, kibana) pila que permite el almacenamiento, procesamiento y visualización de archivos de registro. También existen herramientas de análisis de registros como Splunk.
Todas las URL y solicitudes se contabilizan en su presupuesto de rastreo. Esto incluye URL alternativas como AMPERIO o páginas de puntos m, hreflang, CSSy JavaScript, incluido XHR peticiones.
Estas URL se pueden encontrar rastreando y analizando páginas, o desde una variedad de otras fuentes, incluidos mapas del sitio, RSS feeds, enviar URL para indexar en Google Search Console o usar la indexación API.
También hay varios Googlebots que comparten el presupuesto de rastreo. Puede encontrar una lista de los diversos Googlebots que rastrean su sitio web en el informe Estadísticas de rastreo en GSC.
Cada sitio web tendrá un presupuesto de rastreo diferente que se compone de algunas entradas diferentes.
Demanda de rastreo
La demanda de rastreo es simplemente cuánto quiere rastrear Google en su sitio web. Las páginas más populares y las que experimentan cambios significativos se rastrearán más.
Las páginas populares, o aquellas con más enlaces a ellas, generalmente recibirán prioridad sobre otras páginas. Recuerde que Google tiene que priorizar sus páginas para el rastreo de alguna manera, y los enlaces son una forma fácil de determinar qué páginas de su sitio son más populares. Sin embargo, no es solo su sitio, son todas las páginas en todos los sitios en Internet que Google tiene que descubrir cómo priorizar.
Puedes usar el Mejor por enlaces informe en Site Explorer como una indicación de qué páginas es probable que se rastreen con más frecuencia. También te muestra cuándo Ahrefs rastreó tus páginas por última vez.
También hay un concepto de obsolescencia. Si Google ve que una página no está cambiando, rastreará la página con menos frecuencia. Por ejemplo, si rastrean una página y no ven cambios después de un día, es posible que esperen tres días antes de volver a rastrear, diez días la próxima vez, 30 días, 100 días, etc. No hay un período establecido real que esperarán entre rastreos. pero será menos frecuente con el tiempo. Sin embargo, si Google ve grandes cambios en el sitio en su conjunto o en un movimiento del sitio, normalmente aumentarán la frecuencia de rastreo, al menos temporalmente.
Límite de frecuencia de rastreo
El límite de frecuencia de rastreo es la cantidad de rastreo que puede soportar su sitio web. Los sitios web tienen una cierta cantidad de rastreo que pueden realizar antes de tener problemas con la estabilidad del servidor, como ralentizaciones o errores. La mayoría de los rastreadores dejarán de rastrear si comienzan a ver estos problemas para que no dañen el sitio.
Google se ajustará en función del estado de rastreo del sitio. Si el sitio funciona con más rastreo, el límite aumentará. Si el sitio tiene problemas, Google reducirá la velocidad a la que se rastrean.
Hay algunas cosas que puede hacer para asegurarse de que su sitio admita un rastreo adicional y aumente la demanda de rastreo de su sitio. Veamos algunas de esas opciones.
Acelere su servidor / aumente los recursos
La forma en que Google rastrea las páginas es básicamente para descargar recursos y luego procesarlos al final. La velocidad de su página, tal como la percibe un usuario, no es exactamente la misma. Lo que afectará el presupuesto de rastreo es la rapidez con la que Google puede conectarse y descargar recursos, lo que tiene más que ver con el servidor y los recursos.
Más enlaces externos Y interno
Recuerde que la demanda de rastreo generalmente se basa en la popularidad o los enlaces. Puede aumentar su presupuesto aumentando la cantidad de enlaces externos y / o enlaces internos. Los enlaces internos son más fáciles ya que usted controla el sitio. Puede encontrar enlaces internos sugeridos en el Oportunidades de enlace informe en Site Audit, que también incluye un tutorial que explica cómo funciona.
Reparar enlaces rotos y redirigidos
Mantener activos los enlaces a páginas rotas o redirigidas en su sitio tendrá un pequeño impacto en el presupuesto de rastreo. Por lo general, las páginas vinculadas aquí tendrán una prioridad bastante baja porque probablemente no hayan cambiado en un tiempo, pero limpiar cualquier problema es bueno para el mantenimiento del sitio web en general y ayudará un poco a su presupuesto de rastreo.
Puede encontrar enlaces rotos (4xx) y redirigidos (3xx) en su sitio fácilmente en la Páginas internas informe en Auditoría del sitio.
Para los enlaces rotos o redirigidos en el mapa del sitio, marque la Todos los problemas informe para «3XX redireccionar en el mapa del sitio «y»4XX página en el mapa del sitio ”.
Usar OBTENER en vez de CORREO Donde puedes
Éste es un poco más técnico en el sentido de que implica HTTP Métodos de solicitud. No use CORREO solicitudes donde OBTENER solicita trabajo. Es básicamente OBTENER (tirar) vs CORREO (empujar). CORREO las solicitudes no se almacenan en caché, por lo que afectan el presupuesto de rastreo, pero OBTENER las solicitudes se pueden almacenar en caché.
Utilice la indexación API
Si necesita que las páginas se rastreen más rápido, verifique si es elegible para la indexación de Google API. Actualmente, esto solo está disponible para algunos casos de uso, como publicaciones de trabajo o videos en vivo.
Bing también tiene una indexación API que está disponible para todos.
Lo que no funcionará
Hay algunas cosas que la gente intenta a veces y que en realidad no le ayudarán con su presupuesto de rastreo.
- Pequeños cambios en el sitio. Realizar pequeños cambios en las páginas, como actualizar fechas, espacios o puntuación, con la esperanza de que las páginas se rastreen con más frecuencia. Google es bastante bueno para determinar si los cambios son significativos o no, por lo que no es probable que estos pequeños cambios tengan ningún impacto en el rastreo.
- Directiva de demora de rastreo en robots.txt. Esta directiva ralentizará muchos bots. Sin embargo, el robot de Google no lo usa, por lo que no tendrá ningún impacto. Respetamos esto en Ahrefs, por lo que si alguna vez necesitas ralentizar nuestro rastreo, puedes agregar un retraso en el rastreo en tu archivo robots.txt.
- Eliminación de scripts de terceros. Los scripts de terceros no cuentan para su presupuesto de rastreo, por lo que eliminarlos no ayudará.
- No seguir. Bien, este es dudoso. En el pasado, los enlaces nofollow no habrían utilizado el presupuesto de rastreo. Sin embargo, nofollow ahora se trata como una pista, por lo que Google puede optar por rastrear estos enlaces.
Hay solo un par de buenas formas de hacer que Google rastree más lento. Hay algunos otros ajustes que técnicamente podría hacer, como ralentizar su sitio web, pero no son métodos que recomendaría.
Ajuste lento, pero garantizado
El principal control que Google nos da para rastrear más lento es un limitador de velocidad dentro de Google Search Console. Puede reducir la velocidad de rastreo con la herramienta, pero puede tardar hasta dos días en surtir efecto.
Ajuste rápido, pero con riesgos
Si necesita una solución más inmediata, puede aprovechar los ajustes de la frecuencia de rastreo de Google relacionados con el estado de su sitio. Si le entrega al robot de Google un código de estado ‘503 Servicio no disponible’ o ‘429 Demasiadas solicitudes’ en las páginas, comenzarán a rastrear más lento o pueden dejar de rastrear temporalmente. Sin embargo, no desea hacer esto por más de unos pocos días o pueden comenzar a eliminar páginas del índice.
Pensamientos finales
Una vez más, quiero reiterar que el presupuesto de rastreo no es algo de lo que deba preocuparse la mayoría de la gente. Si tiene alguna inquietud, espero que esta guía le haya resultado útil.
Por lo general, solo lo examino cuando hay problemas con las páginas que no se rastrean e indexan, necesito explicar por qué alguien no debería preocuparse por eso o veo algo que me preocupa en el informe de estadísticas de rastreo en Google Search Console. .
¿Tiene preguntas? Avísame en Gorjeo.