¿Qué es LLMS.txt, y debería importarle?

Se les dice a los desarrolladores y vendedores que agregan archivos LLMS.TXT a sus sitios para ayudar a los modelos de idiomas grandes (LLM) a «comprender» su contenido.

Pero, ¿qué es exactamente LLMS.txt, quién lo está usando y, más importante,?

LLMS.TXT es un estándar propuesto para ayudar a LLMS a acceder e interpretar contenido estructurado desde los sitios web. Puede leer la propuesta completa en llmstext.org.

En pocas palabras, es un archivo de texto diseñado para decirle a LLMS dónde encontrar el cosas buenas: Documentación de API, políticas de devolución, taxonomías de productos y otros recursos ricos en contexto. El objetivo es eliminar la ambigüedad dando a los modelos de idiomas un mapa curado de contenido de alto valor, para que no tengan que adivinar lo que importa.

Una captura de pantalla del estándar propuesto en https://llmstxt.org/.

En teoría, esto suena como una buena idea. Ya usamos archivos como robots.txt y siteMap.xml para ayudar a los motores de búsqueda a comprender qué hay en un sitio y dónde buscar. ¿Por qué no aplicar la misma lógica a LLMS?

Pero lo más importante, No es un proveedor de LLM Major actualmente admite LLMS.txt. No OpenAi. No antrópico. No google.

Como dije en la introducción, llms.txt es un propuesto estándar. También podría proponer un estándar (llamémoslo por favor envíe a-me-tramph-robot-overlords.txt), pero a menos que los principales proveedores de LLM acepten usarlo, no tiene sentido.

Ahí es donde estamos con LLMS.TXT: es una idea especulativa sin adopción oficial.

Así es como se ve un archivo llms.txt en la práctica. Esta es una captura de pantalla del archivo LLMS.txt real de Anthrope:

En su núcleo, LLMS.TXT es un documento de Markdown (un tipo de archivo de texto especialmente formateado). Utiliza encabezados H2 para organizar enlaces a recursos clave. Aquí hay una estructura de muestra que podría usar:

# llms.txt
## Docs
- /api.md
A summary of API methods, authentication, rate limits, and example requests.
- /quickstart.md
A setup guide to help developers start using the platform quickly.
## Policies
- /terms.md
Legal terms outlining service usage.
- /returns.md
Information about return eligibility and processing.
## Products
- /catalog.md
A structured index of product categories, SKUs, and metadata.
- /sizing-guide.md
A reference guide for product sizing across categories.

Puede hacer su propia LLMS.txt en minutos:

1. Comience con un archivo de Markdown básico.
2. Use H2S para agrupar recursos por tipo.
3. Enlace a contenido estructurado y amigable para markdown.
4. Manténgalo actualizado.
5. Alojarlo en su dominio raíz: https://yourdomain.com/llms.txt

Puede crearlo usted mismo o usar un generador LLMS.TXT gratuito (como este) para hacerlo por usted.

He leído sobre algunos desarrolladores que también experimentan con metadatos específicos de LLM en sus archivos LLMS.TXT, como presupuestos tokens o formatos de archivo preferidos (pero no hay evidencia de que esto sea respetado por los modelos de rastreadores o LLM).

Puede ver una lista de empresas que usan LLMS.txt en Directory.llmstxt.Cloud: un índice de LLMS.txt mantenido por la comunidad.

Aquí hay algunos ejemplos:

• Mintlify: plataforma de documentación del desarrollador.
• TinyBird: API de datos en tiempo real.
• CloudFlare: enumera los documentos de rendimiento y seguridad.
• Anthrope: publica un mapa de Markdown completo de sus documentos API.

¿Pero qué pasa con los grandes jugadores?

Hasta ahora, ningún proveedor de LLM mayor ha adoptado formalmente LLMS.txt Como parte de su protocolo de rastreador:

• OpenAI (GPTBOT): Honors Robots.txt pero no usa oficialmente LLMS.txt.
• Antrópico (Claude): Publica su propia LLMS.txt, pero no afirma que sus rastreadores usan el estándar.
• Google (Géminis/Bard): Utiliza robots.txt (a través del agente de usuario: Google-Extended) para administrar el comportamiento de AI Crawl, sin mencionar el soporte LLMS.TXT.
• Meta (Llama): No hay rastreador o orientación público, y sin indicación de uso de LLMS.TXT.

Esto resalta un punto importante: crear un LLMS.txt no es lo mismo que hacer cumplirlo en el comportamiento de los rastreadores. En este momento, la mayoría de los proveedores de LLM tratan a LLMS.txt como una idea interesante, y no como algo que han acordado priorizar y seguir.

En mi opinión, no, todavía no.

No hay evidencia de que LLMS.TXT mejore la recuperación de IA, aumente el tráfico o mejore la precisión del modelo. Y ningún proveedor se ha comprometido a analizarlo.

Pero también es muy fácil de configurar. Si ya tiene contenido estructurado como páginas de productos o documentos de desarrollador, compilar un LLMS.txt es trivial. Es un archivo de Markdown, alojado en su propio sitio web. Es posible que no haya un beneficio observado, pero tampoco hay riesgo. Si los LLMS eventualmente lo siguen como un estándar, podría haber una pequeña ventaja en ser los primeros en adoptar.

Creo que LLMS.TXT está ganando tracción porque todos queremos influir en la visibilidad de LLM, pero nos faltan las herramientas para hacerlo. Entonces nos aferramos a las ideas que sentir como control.

Pero en mi opinión personal, LLMS.TXT es una solución en busca de un problema. Los motores de búsqueda ya se arrastran y comprenden su contenido utilizando estándares existentes como robots.txt y siteMap.xml. Los LLM usan gran parte de la misma infraestructura.

Como lo expresó John Mueller de Google en una publicación Reddit recientemente:

AFAIK Ninguno de los servicios de IA ha dicho que están usando LLMS.TXT (y puede saber cuándo mira los registros de su servidor que ni siquiera lo verifican). Para mí, es comparable a la metaetiqueta de las palabras clave: de esto se trata de un propietario del sitio que se trata su sitio … (¿es el sitio realmente así? Bueno, puede verificarlo. En ese momento, ¿por qué no solo consultar el sitio directamente?)

¿No estoy de acuerdo conmigo o quieres compartir un ejemplo de lo contrario? Envíame un mensaje en LinkedIn o X.