Überprüfung der robots.txt

LinkpartnerCheck.de überprüft, ob sich Ihr Link auf einer per robots.txt ausgeschlossenen Seite bzw. in einem per robots.txt ausgeschlossenen Verzeichnis befindet. Nahezu alle Suchmaschinen berücksichtigen das Vorhandensein einer robots.txt. Ihr Link wird dadurch entwertet und unbrauchbar.

Ausgesperrte Links per robots.txt

Linkpartner, die Ihren Link per robots.txt aussperren, werden von unserem Backlink-Check-Service mit blau markiert.

Was ist eine robots.txt Datei?

Oft nicht einfach zu erkennen sind Links, die über die robots.txt ausgesperrt werden. Die robots.txt ist eine Textdatei, die sich im Webroot einer Website befindet und die es einem Webseitenbetreiber erlaubt, Anweisungen für Robots von Suchmaschinen zu schreiben. Die Datei weist Webspider an, welche Verzeichnisse und Dateien sie auslesen, verfolgen und somit indexieren dürfen.

Beispiele

Aussperrung einzelner Seiten über die robots.txt

User-Agent: *
Disallow: /index.php
Disallow: /content.html
---

Aussperrung ganzer Verzeichnisse

User-Agent: *
Disallow: /verzeichnis/
Disallow: /weiteres-verzeichnis/unterverzeichnis/
---

Aussperrung einzelner Bots

User-Agent: Googlebot
Disallow: /links.php
Disallow: /linkpartner/

User-Agent: Bingbot
Disallow: /partner.php
---
Wir konnten Sie vom Mehrwert unseres Dienstes noch nicht überzeugen? Dann testen Sie doch unseren Service ganz einfach live auf unserer Demosite.