Was du mit Robots.txt prüfen machen kannst
Prüft Anweisungen, Gruppen und Sitemap-URLs. Nutze die Einstellungen, passe die Verarbeitung an und prüfe das Ergebnis vor dem Kopieren oder Herunterladen.
So funktioniert es und das solltest du beachten
Die Prüfung ist syntaktisch; sie simuliert nicht jeden Crawler und ruft keine veröffentlichte Datei ab.