Was ist die robots.txt?

Die robots.txt-Datei ist eine einfache Textdatei im Stammverzeichnis deiner Website (https://example.com/robots.txt), die Suchmaschinen-Crawlern mitteilt, welche Seiten oder Bereiche deiner Website sie crawlen sollten oder nicht.

Wie es funktioniert

Wenn ein Suchmaschinen-Crawler deine Seite besucht, prüft er zuerst die robots.txt-Datei auf Anweisungen. Die Datei verwendet eine einfache Syntax:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap.xml

Wichtige Direktiven

• User-agent — Für welchen Crawler die Regeln gelten (* = alle Crawler).
• Disallow — Pfade, die der Crawler nicht aufrufen soll.
• Allow — Ausnahmen von Disallow-Regeln.
• Sitemap — Die URL deiner XML-Sitemap.

Wichtige Hinweise

• robots.txt ist ein Vorschlag, keine Sicherheitsmaßnahme. Bösartige Bots können sie ignorieren.
• Das Blockieren einer Seite in robots.txt verhindert nicht, dass sie in Suchergebnissen erscheint, wenn andere Seiten darauf verlinken.
• Um die Indexierung zu verhindern, verwende stattdessen den noindex-Meta-Tag oder den X-Robots-Tag-Header.

WordPress-Standard robots.txt

WordPress generiert standardmäßig eine virtuelle robots.txt-Datei, wenn keine physische Datei existiert. Sie blockiert typischerweise /wp-admin/, erlaubt aber admin-ajax.php. Für mehr Kontrolle erstelle eine physische robots.txt-Datei in deinem WordPress-Stammverzeichnis.

Was InspectWP prüft

InspectWP prüft, ob deine WordPress-Seite eine robots.txt-Datei hat, welche Regeln sie enthält und ob eine Sitemap-Referenz enthalten ist.