Überprüfung des HTTP-Headers

LinkpartnerCheck.de überprüft den HTTP-Header, ob sich ein Link auf einer per X-Robots-Tag ausgeschlossenen Seite befindet. Alle Suchmaschinen berücksichtigen X-Robots-Tags wie Noindex und Nofollow. Suchmaschinen werden damit angewiesen, die betreffenden Seiten nicht zu indexieren bzw. vorhandenen Links nicht zu folgen. Der Link wird dadurch entwertet und trägt somit nicht zur Steigerung der Domainpopularität und der Stärkung der Autorität Ihrer Webseite bei.

Entwertete Links per X-Robots-Tag Nofollow/Noindex

Links, die sich auf einer per X-Robots-Tag ausgesperrten Seite befinden, werden von unserem Link Check Tool mit gelb markiert.

Was sind X-Robots-Tags?

Ähnlich wie Robots-Meta-Tags können X-Robots-Tags zur Steuerung des Crawlings und der Indexierung von Webseiten durch Suchmaschinen eingesetzt werden. Direkt im Script oder über eine .htaccess Datei, lassen sich damit Anweisungen für Suchmaschinenrobots definieren, um bestimmte Seiten von der Indexierung auszuschließen (noindex) bzw. die Suchmaschine anzuweisen, Links auf der Seite nicht zu folgen (nofollow). X-Robots-Tags werden über den Response-Header des HTTP-Protokolls gesendet, der weitere Informationen zur Antwort des Servers bereitstellt.

Beispiele

Nofollow per PHP-Script

header("X-Robots-Tag: nofollow", true);
---

Noindex per .htaccess für HTML/PHP-Dateien

<Files ~ "\.(html|php)$">
Header set X-Robots-Tag "noindex"
</Files>
---

HTTP-Response-Header einer Webseite

date: Mon, 14 Mar 2022 16:19:56 GMT
server: Apache
x-robots-tag: noindex, nofllow
content-encoding: gzip
transfer-encoding: chunked
content-type: text/html
---