Los bots de IA impulsan algunas de las tecnologías más avanzadas que utilizamos hoy, desde motores de búsqueda hasta asistentes de IA. Sin embargo, su creciente presencia ha llevado a un número creciente de sitios web que los bloquean.
Hay un costo para los bots rastreando sus sitios web y hay un contrato social entre los motores de búsqueda y los propietarios de sitios web, donde los motores de búsqueda agregan valor al enviar tráfico de referencia a los sitios web. Esto es lo que evita que la mayoría de los sitios web bloqueen los motores de búsqueda como Google, incluso cuando Google parece tener la intención de tomar más de ese tráfico por sí mismos.
Cuando observamos la composición del tráfico de aproximadamente 35,000 sitios web en AHREFS Analytics, encontramos que la IA solo envía el 0.1% del tráfico total de referencias, muy por detrás del tráfico de búsqueda.
Creo que muchos propietarios de sitios quieren permitir que estos bots aprendan sobre su marca, sus negocios y sus productos y ofertas. Pero aunque muchas personas creen que estos sistemas son el futuro, actualmente corren el riesgo de no agregar suficiente valor para los propietarios de sitios web.
El primer LLM en agregar más valor a los usuarios al mostrar impresiones y clics para los propietarios de sitios web probablemente tendrá una gran ventaja. Las empresas informarán sobre las métricas de ese LLM, lo que probablemente aumentará la adopción y evitará que más sitios web bloqueen su bot.
Los bots están utilizando recursos y datos para capacitar a sus IA y crear posibles problemas de privacidad. Como resultado, muchos sitios web eligen bloquear los bots de IA.
Observamos aproximadamente 140 millones de sitios web y nuestros datos muestran que las tasas de bloqueo para los bots de IA han aumentado significativamente durante el último año. Quiero agradecer enormemente a nuestro científico de datos Xibeijia Guan por extraer estos datos.
- El número de bots de IA se ha duplicado desde agosto de 2023, con 21 bots de IA principales ahora activos en la web.
- GPTBOT (OpenAI) es el bot de IA más bloqueado con el 5.89% de todos los sitios web que los bloquean.
- Claudebot (antrópico) vio el mayor crecimiento en las tasas de bloqueo aumentando en un 32.67% durante el año pasado.
- Los bots más bloqueados son también los más activos.
Observamos el número total de sitios web que bloquean los bots. Hay muchas formas de bloquear bots con robots.txt, y esto representa a todos ellos, incluidos:
- Bloques explícitos donde se menciona y no se permite el bot
- Bloques generales donde se pueden bloquear todos los bots
- Cualquier instancia en los que un Directiva permitió el bot después de bloquear todos los bots
Advertencias: esto no incluye ningún otro tipo de bloque, como firewalls o bloques IP.
Como mencioné anteriormente, el bot más bloqueado es gptbot. Es el bot de IA más activo según CloudFlare Radar.
Existe una correlación positiva moderada entre la tasa de solicitud y la tasa de bloqueo para estos bots. Los bots que hacen más solicitudes tienden a bloquearse con más frecuencia.
Los números nerd son 0.512 en coeficiente de correlación de Pearson, con un valor p de 0.0149, lo cual es estadísticamente significativo al nivel del 5%.
Aquí se presentan los datos sobre los bloques generales:
– Gptbot: 8,245,987 (5.89%)
– Ccbot: 8,188,656 (5.85%)
– Amazonbot: 8,082,636 (5.78%)
– Bytepider: 8,024,980 (5.74%)
– Claudebot: 8,023,055 (5.74%)
– Google-extendido: 7,989,344 (5.71%)
– Y otros bots con datos correspondientes.
Se vuelve un poco más complicado al observar el archivo principal de robots.txt para un sitio web, ya que cada subdominio puede tener sus propias instrucciones. Si observamos los robots ~ 461M.txt en total, el porcentaje de bloqueo total para GPTBOT aumenta al 7.3%.
En cuanto a los bloques de bots de IA con el tiempo, más sitios de alto tráfico comenzaron a bloquear los bots de IA en 2024, pero la tendencia está disminuyendo hacia el final del año. La disminución proviene principalmente de bloques genéricos, mientras que la tendencia para los bots de IA está en aumento.
En cuanto a los tipos de sitios que bloquean más los bots de IA, se observó que las categorías de artes y entretenimiento (45% bloqueados) y ley y gobierno (42% bloqueados) son las que más los bloquean, con posibles motivos especulativos como aversiones éticas, preocupaciones legales o protección de ingresos.
Finalmente, se analiza con qué frecuencia se dirigen específicamente los bots de IA, donde GPTBot es el bot más dirigido, seguido de cerca por el bot de Crawl Común. Los **datos de rastreo comunes** son una fuente clave para la mayoría de los **LLM (Machine Learning Models)**. Sin embargo, hay **bots de IA** específicos que son bloqueados por muchos sitios web. Estos bots están siendo cada vez más restringidos en su acceso a la información en línea.
### Bots de IA más bloqueados
– **Gptbot** con 693,639 bloqueos (0.5%)
– **Ccbot** con 682,861 bloqueos (0.49%)
– **Amazonbot** con 469,086 bloqueos (0.34%)
– **Bytepider** con 461,706 bloqueos (0.33%)
– **Google-extendido** con 415,821 bloqueos (0.3%)
Estos datos muestran la creciente preocupación de los propietarios de sitios web por el acceso de ciertos bots de IA a sus contenidos.
### Evolución de los bloqueos de bots de IA
El número de **bots de IA** bloqueados ha aumentado significativamente en el último año. En particular, **Claudebot** ha experimentado un crecimiento acelerado en bloqueos. Esto plantea interrogantes sobre el futuro de la relación entre los rastreadores de IA y los sitios web.
### Reflexión final
A medida que más sitios web bloquean bots de IA, surge la pregunta sobre el acceso y la distribución equitativa de la información en línea. ¿Deberían estos rastreadores pagar por el acceso a datos o seguir ignorando los protocolos establecidos? La decisión que tomen podría tener un impacto significativo en la forma en que se accede y comparte la información en la web.
¿Estás bloqueando bots de IA en tu sitio o ves valor en permitirles acceso? Comparte tus pensamientos en la sección de comentarios o en mis redes sociales. ¡Espero saber tu opinión! Título: Consejos para mejorar la productividad en el trabajo
La productividad en el trabajo es crucial para el éxito de cualquier empresa. A continuación, te damos algunos consejos para optimizar tu rendimiento laboral:
1. Organiza tu tiempo: Prioriza tus tareas y establece un horario de trabajo que te permita cumplir con tus responsabilidades de manera eficiente.
2. Elimina distracciones: Evita revisar constantemente tus redes sociales o responder mensajes personales mientras trabajas. Mantén tu enfoque en las tareas que tienes que completar.
3. Establece metas claras: Define objetivos específicos y realistas para cada día o semana. Esto te ayudará a mantenerte motivado y enfocado en tus metas.
4. Toma descansos: Aunque parezca contradictorio, tomar pequeños descansos durante la jornada laboral puede ayudarte a recargar energías y mantener tu concentración.
5. Aprende a delegar: No intentes hacer todo tú solo. Delega tareas a tus compañeros o subordinados cuando sea necesario para optimizar tu tiempo y recursos.
6. Mejora tus habilidades: Si identificas áreas en las que puedes mejorar, busca oportunidades de formación o capacitación que te permitan aumentar tu eficiencia en el trabajo.
Siguiendo estos consejos, podrás incrementar tu productividad en el trabajo y alcanzar tus metas laborales de manera más eficiente. ¡Buena suerte! Optimiza la siguiente nota:
«El nuevo restaurante en la esquina de la calle principal ha recibido críticas mixtas de los clientes. Algunos elogian la calidad de la comida y el servicio, mientras que otros se quejan de los precios altos y la falta de variedad en el menú. A pesar de las críticas, el restaurante ha atraído a una clientela fiel que sigue visitándolo regularmente. Aunque aún tiene áreas de mejora, el restaurante parece estar en buen camino para convertirse en un favorito local.»
