Überprüfung der robots.txt
LinkpartnerCheck.de überprüft, ob sich Ihr Link auf einer per robots.txt ausgeschlossenen Seite bzw. in einem per robots.txt ausgeschlossenen Verzeichnis befindet. Nahezu alle Suchmaschinen berücksichtigen das Vorhandensein einer robots.txt. Ihr Link wird dadurch entwertet und unbrauchbar.
Ausgesperrte Links per robots.txt
Linkpartner, die Ihren Link per robots.txt aussperren, werden von unserem Backlink-Check-Service mit blau markiert.
Was ist eine robots.txt Datei?
Oft nicht einfach zu erkennen sind Links, die über die robots.txt ausgesperrt werden. Die robots.txt ist eine Textdatei, die sich im Webroot einer Website befindet und die es einem Webseitenbetreiber erlaubt, Anweisungen für Robots von Suchmaschinen zu schreiben. Die Datei weist Webspider an, welche Verzeichnisse und Dateien sie auslesen, verfolgen und somit indexieren dürfen.
Beispiele
Aussperrung einzelner Seiten über die robots.txt
Disallow: /index.php
Disallow: /content.html
---
Aussperrung ganzer Verzeichnisse
Disallow: /verzeichnis/
Disallow: /weiteres-verzeichnis/unterverzeichnis/
---
Aussperrung einzelner Bots
Disallow: /links.php
Disallow: /linkpartner/
User-Agent: Bingbot
Disallow: /partner.php
---