BAVOKO SEO Tools erlaubt es Ihnen, in einem speziellen Editor Änderungen und Optimierungen an der robots.txt Datei Ihrer Website vorzunehmen. Wenn Sie einen Fehler innerhalb dieser Datei machen, kann es beispielsweise vorkommen, dass Sie bestimmte Bereiche Ihrer Website aus dem Index ungewollt ausschließen. Deshalb empfehlen wir Ihnen, nur daran zu arbeiten, wenn Sie genau wissen, was Sie tun, denn im Regelfall ist es für WordPress-Seiten nicht nötig, Änderungen an der robots.txt vorzunehmen.

BAVOKO SEO Tools legt zusätzlich ein automatisches Backup der die robots.txt Datei an, womit Sie sie jederzeit zurücksetzen können.

Was ist die robots.txt?

Bei der robots.txt (Robots-Exklusion-Standard-Protocoll) handelt es sich um eine Textdatei, in der genaue Anweisungen für die Crawler der Suchmaschinen hinterlegt sind, welche Ihrer Seiten gelesen werden dürfen und welche nicht. Deshalb suchen Crawler beim Erfassen einer Seite immer zuerst nach der robots.txt Datei und wenden die dort vorgegebenen Richtlinien anschließend beim Crawlen der Seite an.

Die robots.txt in WordPress bearbeiten

robots.txt in WordPress

Der Editor zur Bearbeitung der .htaccess- und robots.txt-Dateien muss zunächst in den Einstellungen von BAVOKO SEO Tools freigeschaltet werden, bevor Sie mit der Bearbeitung beginnen können.

  • Navigieren Sie hierfür zu den “Settings” von BAVOKO SEO.
  • robots.txt Settings

  • Setzen Sie im Tab “General” ein Häkchen bei “Unlock Editor”.

Um nach der Freischaltung des Editors mit der Optimierung der robots.txt Datei zu beginnen, gehen Sie wie folgt vor:

  • Navigieren Sie innerhalb des Plugins zu dem Punkt “Tools” > “.htaccess & robots.txt”.
  • robots.txt in WordPress bearbeiten

  • Öffnen Sie den Tab “robots.txt”. Nun können Sie den Code im Textfenster mit Ihren eigenen Befehlen beliebig erweitern.
  • robots.txt in WordPress bearbeiten

  • Mit einem Klick auf “Save” speichert BAVOKO SEO Tools Ihre Änderungen.

ACHTUNG: Seiten über die robots.txt von der Indexierung auszuschließen bedeutet nicht, dass Ihre Dateien vor Zugriffen geschützt sind. Die meisten Bots halten sich zwar an den vorgegebenen Standard, aber da es keine Pflicht ist, gibt es hier immer wieder Ausnahmen. Für sensible Daten empfehlen wir Ihnen, die Bereiche mit der .htaccess Datei zu sperren.

Sollten Sie von Ihrer robots.txt auf Ihre
XML Sitemap verweisen?

Auch wenn der Gedanke nahe liegt, dass die Sitemap Ihrer Website von den Suchmaschinen-Crawlern entdeckt wird, wenn Sie sie in der robots.txt verlinkt wird, sollten Sie sich darauf auf keinen Fall verlassen. Hinterlegen Sie Ihre WordPress Sitemap auf jeden Fall selbst in der Google Search Console, um sie ordentlich verwalten und Probleme beheben zu können.

Automatisches Backup-System der robots.txt & .htaccess

BAVOKO SEO Tools besitzt ein eigenes Backup-System, mit dem bei jeder Änderung automatisch eine Sicherungskopie der robots.txt angelegt wird.

Sollten nach einer Änderung in der .htaccess oder der robots.txt Probleme auftreten, können Sie über den folgenden Ordner per FTP-Zugriff von BAVOKO SEO Tools automatisch generierte Backups der beiden Dateien finden, die Sie einfach in das Hauptverzeichnis Ihrer WordPress-Installation kopieren müssen: /wp-content/plugins/wp-seo-keyword-optimizer/backups/

BST: WordPress SEO Plugin mit robots.txt Editor

Wenn Sie im Zuge Ihrer WordPress SEO-Arbeiten die robots.txt Datei bearbeiten möchten, um die Crawler der Suchmaschinen das Indexieren gewisser URLs untersagen möchten, bietet Ihnen BAVOKO SEO Tools in einem einfachen Editor einen unkomplizierten und durch Backups gesicherten Weg dafür.

Was this article helpful?

Yes (1) No

BAVOKO's SEO Newsletter

Subscribe to our newsletter to get deep SEO insights, tips and strategies!

Learn how to rank #1 on Google with the help of BAVOKO SEO Tools - The most powerful SEO plugin for WordPress.

You have Successfully Subscribed!