Qué revisa el analizador
Agrupa las directivas por User-agent y lista las reglas Allow y Disallow que le corresponden a cada uno, además de los Sitemap declarados. Así ves de un vistazo si una regla pensada para un bot concreto está afectando a todos, que es el error más caro y más frecuente.
El error que más tráfico cuesta
Un Disallow: / bajo User-agent: * bloquea el rastreo completo del sitio. Suele colarse al pasar de un entorno de preproducción a producción, porque en preproducción esa regla es la correcta. El resultado es una caída de indexación que no dispara ninguna alerta hasta que las páginas empiezan a desaparecer.
Bloquear rastreo no es desindexar
Robots.txt controla si un rastreador puede leer una URL, no si puede mostrarla en resultados. Una página bloqueada con Disallow puede seguir apareciendo en Google si hay enlaces externos apuntando a ella, porque el buscador conoce la URL aunque no pueda leer su contenido. Para sacar una página del índice necesitas una etiqueta noindex, y para eso el rastreador tiene que poder leer la página.