La web se está arrastrando más que nunca, pero ya no se trata de motores de búsqueda que se arrastran. Los bots de IA están absorbiendo todos los datos que pueden para entrenar y alimentar a sus asistentes de IA.
El problema es que los bots de IA son nuevos en el rastreo web. Todavía están tomando algunas decisiones tontas de rastreo, tocando y desperdiciando muchos recursos. Ya hemos visto que los bots de IA están comenzando a ser bloqueados por muchos más sitios web más traficados.
No tengo dudas de que los bots de IA resolverán las cosas, pero probablemente será un proceso doloroso. No creo que ninguno de ellos haya comenzado a representar contenido todavía.
Hubo mucho retroceso en Bing en el pasado debido a su agresivo gateo. Lo arreglaron, comenzaron IndexNow, y ahora pueden ser el rastreador web más eficiente.
Echa un vistazo a IndexNow
Si no ha configurado IndexNow para su sitio web, debería hacerlo.
Si eres un CDN, CMS, un bot de IA o Google, también deberías entrar en esto. Ahorre recursos, ahorre dinero y ahorre el planeta. Es bueno para usted, es bueno para sus usuarios, es bueno para los propietarios de sitios web, es bueno para los hosts del sitio web y es bueno para la web y el planeta.
Se estima que el 53% del tráfico de rastreadores se desperdicia, e IndexNow puede ayudar a reducir ese número a casi nada.
Al observar los datos de Cloudflare Radar, que refleja una porción masiva de tráfico de Internet, podemos ver cómo los bots de IA se comparan con los bots del motor de búsqueda y los bots de SEO. Manijas de Cloudflare ~ 20% de todo el tráfico de Internet, entonces, este es un conjunto de datos grande y representativo para el rastreo web general.
Vamos a sumergirnos.
Los bots del motor de búsqueda se arrastran más. Los bots de IA son relativamente nuevos en la web, pero están firmemente en segundo lugar a pesar de que hay menos de ellos. Si se lanzan más asistentes de IA y sus bots comienzan a rastrear la web, probablemente pasarán los motores de búsqueda en el gateo. A el ritmo que están creciendo, esto podría suceder en los próximos dos años.
Si desglosamos algunos de los bots individuales, puede ver que Googlebot está comiendo Internet mucho más que otros bots.
Observe que el bot de IA de Google también tiene una velocidad de rastreo rápida y también las imágenes de Google. Hay mucho más Googlebots que realizan varias tareas.
Amazonbot y Gptbot están a la par con el rastreo de Bing.
Ahrefsbot es el bot más activo con mucho en la industria de SEO. A algunas otras plataformas les gusta afirmar que se arrastran más rápido, pero toda la evidencia dice que eso no es cierto. Ahrefs realiza casi tantas solicitudes como las otras 20 bots de SEO combinadas. Vamos a vencer una combinación de 19 de ellos.
A pesar de nuestra tasa de rastreo, garantizaría que también somos el rastreador más eficiente de cualquier bot SEO. Hemos resuelto muchos problemas que todavía veo presentes en estos otros rastreadores. También obtenemos los datos de IndexNow a través de nuestro motor de búsqueda, sí, para ayudarnos a ser aún más eficientes. En este punto, tal vez deberíamos clasificarnos como un bot del motor de búsqueda.
Los bots de IA han aumentado este año. Eran casi el 25% de todas las solicitudes de BOT en mayo, solo el 10% por debajo de los bots de búsqueda.
**La sorprendente verdad detrás de los bots de IA y los motores de búsqueda**
Cuando pensamos en los bots que recorren la web, es natural que Googlebot sea el primero que nos viene a la mente. Sin embargo, lo que resulta impactante es que, a pesar de su dominio general, hay aproximadamente la mitad de bots de IA en comparación con los bots de los motores de búsqueda.
**Una mirada más profunda a los datos**
Según un estudio reciente, Googlebot sigue siendo el bot más dominante en la web, pero GPTBOT ha estado ganando terreno este año. ¿Podría esto significar que en un futuro cercano veremos una mayor equiparación entre ambos? Es una pregunta que nos deja intrigados.
**El contrato social entre los motores de búsqueda y los propietarios de sitios web**
Existe un costo asociado con los bots que rastrean nuestros sitios web, pero también hay un contrato social entre los motores de búsqueda y los propietarios de sitios. Los motores de búsqueda agregan valor al enviar tráfico de referencia a los sitios web, y es por eso que muchos propietarios optan por no bloquear a Google, a pesar de sus constantes rastreos.
**El papel crucial de los asistentes de IA**
Este contrato se extiende a los asistentes de IA, quienes también deben enviar tráfico a los sitios web y proporcionar datos valiosos a los propietarios. De lo contrario, corren el riesgo de ser bloqueados, tal como ya está sucediendo en algunos casos.
**El futuro de la IA en la web**
No es de extrañar que el tráfico de búsqueda de IA represente solo el 0.1% del tráfico general a los sitios web. En un mundo donde la competencia es feroz, enviar más tráfico y proporcionar más valor a los propietarios de sitios web se vuelve crucial para destacar.
Si deseas saber más sobre este fascinante tema, no dudes en contactarme en LinkedIn o X. Juntos podemos explorar las infinitas posibilidades que la inteligencia artificial nos ofrece en el mundo digital. ¡No te quedes atrás, únete a la revolución tecnológica hoy mismo! Optimiza la siguiente nota:
«El nuevo restaurante de comida italiana en la ciudad está ubicado en una zona céntrica y ofrece una amplia variedad de platos deliciosos. La decoración del lugar es elegante y acogedora, creando un ambiente perfecto para disfrutar de una cena romántica o una comida en familia. Además, el servicio es excelente y el personal es muy atento. Sin duda, es una excelente opción para los amantes de la comida italiana en la ciudad.»
Nota optimizada:
«El nuevo restaurante de comida italiana en la ciudad está situado en una ubicación céntrica y ofrece una amplia variedad de platos deliciosos en un ambiente elegante y acogedor. Con un servicio excelente y un personal atento, es la opción perfecta para disfrutar de una cena romántica o una comida en familia para los amantes de la comida italiana en la ciudad.»
