Qué revisa el análisis gratis de su página web

Cómo se calcula la puntuación

La puntuación es la suma de los pesos de las pruebas que pasaron, dividida entre la suma de los pesos de las que pudimos medir, por 100 y redondeada. Junto al número verá cuántas pruebas pasó y una etiqueta: Bien, Regular o Débil.

Un ejemplo de aritmética con un sitio inventado: si pasa todo menos llms.txt (15 puntos) y el sitemap (10), suma 75 de 100 y obtiene 75.

Verá el número, cuántas pruebas pasó y, si falló alguna, las dos de más peso con la evidencia que medimos. Las demás fallas cuentan para la puntuación aunque no salgan en pantalla.

La evidencia es un dato de sus archivos, no una opinión. Si su robots.txt bloquea a un robot, citamos la primera línea Disallow del archivo, que puede no ser la que causó el bloqueo.

Qué significa una prueba que no se mide

Dos pruebas pueden quedar sin medir. La de velocidad depende de un servicio de Google: si falta nuestra clave de acceso, el servicio no responde, no devuelve puntuación o vence el tiempo de espera, la marcamos como no medida. La de crawlers de IA queda sin medir si su servidor no entrega el robots.txt (no contesta a tiempo o da un error del servidor). En los dos casos la sacamos de la cuenta por completo. Si lo que no llega es el llms.txt o el sitemap, la prueba cuenta como que el archivo no está, porque un buscador tampoco lo podría leer.

No le restamos puntos por un problema nuestro. Ejemplo: si la velocidad no se pudo medir (10 puntos) y un sitio falla solo llms.txt (15), la escala baja a 90: suma 75 de 90 y obtiene 83. El conteo dirá «de 7 pruebas» en lugar de «de 8».

El ejemplo del robots.txt: OAI-SearchBot y GPTBot

Un sitio puede tener un robots.txt en su raíz, en sunegocio.com/robots.txt. Ahí dice qué robots pueden leer qué. Google lo explica así: le indica a los rastreadores de los buscadores a qué URL pueden acceder en su sitio (traducción nuestra).

Estas dos líneas bloquean a OAI-SearchBot, el robot que OpenAI usa para mostrar sitios en las búsquedas de ChatGPT:

User-agent: OAI-SearchBot
Disallow: /

Según la documentación de OpenAI, los sitios que se excluyen de OAI-SearchBot no se muestran en las respuestas de búsqueda de ChatGPT, aunque pueden seguir apareciendo como enlaces de navegación (traducción nuestra).

GPTBot es otro robot y otra decisión: rastrea contenido que puede usarse para entrenar los modelos de OpenAI, y bloquearlo indica que el contenido de un sitio no debe usarse para eso. Cada ajuste es independiente: un sitio puede permitir a OAI-SearchBot y bloquear a GPTBot.

El análisis trata a los cinco robots por igual: si cualquiera queda bloqueado, la prueba falla, GPTBot incluido. Si lo bloqueó a propósito para que no usen su contenido en entrenamiento, es decisión suya; el análisis lo marca igual, porque mide acceso, no intención.

Si corrige el archivo, el análisis verá el cambio en la próxima corrida. Según OpenAI, sus sistemas pueden tardar unas 24 horas en ajustarse. Y aunque todo quede abierto, nadie puede garantizar que ChatGPT mencione su negocio.

Qué hacer si una prueba falla

• Acceso de crawlers de IA. Abra sunegocio.com/robots.txt y busque Disallow: / bajo los robots que cita el análisis o bajo User-agent: *. Si no fue decisión suya, quítelo.
• Archivo llms.txt. Publique un archivo de texto en sunegocio.com/llms.txt con información breve de su negocio y enlaces a sus páginas importantes. Es una propuesta de llmstxt.org; nadie puede garantizar que una IA la use.
• Datos estructurados. Agregue datos JSON-LD que describan su negocio (nombre, teléfono, servicios), en el HTML que entrega el servidor y no agregados después con JavaScript.
• Título y descripción. Asegúrese de que cada página tenga un title, una meta description y un solo H1.
• Sitemap. Publique un sitemap.xml en la raíz de su sitio.
• Velocidad (PageSpeed). Abra el informe de PageSpeed Insights de su página y vea qué la frena en el celular.
• Idioma declarado. Declare el idioma en la etiqueta <html>, por ejemplo lang="es".
• HTTPS. Instale un certificado y redirija todo el tráfico a https://.

Qué no mide

Esto es lo que medimos en los archivos de su propio sitio, no una predicción de lo que hará ningún buscador. Por eso el análisis no mide:

• Posiciones. No dice en qué lugar sale su sitio en Google ni en otro buscador.
• Menciones y citas. No sabe si ChatGPT, Perplexity o Google han citado a su negocio, y nadie puede garantizar que lo hagan.
• Lo que dirá ChatGPT de usted. No le hacemos preguntas a ningún asistente de IA, así que no medimos sus respuestas.
• La calidad de su contenido. Solo comprueba que el título y la descripción existan, no que estén bien escritos ni que convenzan.
• El resto de su sitio. Lee una sola página, la que usted escribe, y tres archivos. La velocidad se la pide a Google.
• Lo que hace JavaScript. Lee el HTML tal como lo entrega el servidor y no ejecuta scripts.
• Firewalls. Lee su robots.txt, no si un firewall bloquea a un robot. Para OAI-SearchBot, OpenAI recomienda además permitir sus rangos de IP publicados, algo que este análisis no ve.
• Las visitas que pide una persona. Cuando alguien le pide a ChatGPT visitar una página, OpenAI usa ChatGPT-User y dice que las reglas de robots.txt pueden no aplicar. El análisis no mira eso.

Cómo funciona por dentro

Cuando usted escribe un dominio, el análisis pide esa página, sigue hasta tres redirecciones y lee los tres archivos desde el dominio donde terminó. Cada petición a su sitio espera hasta 8 segundos. Se identifica como R21-AuditBot, por si quiere buscarlo en los registros de su servidor, y solo lee lo que cualquier visitante puede ver. Si no logra conectarse, se lo dice y no muestra puntuación. Si hace varias consultas seguidas, le pide esperar un minuto.