Derrobots Wert für dasname-Attribut des<meta>-Elements (oft als "robots tag" bezeichnet) definiert das Crawl- und Indexierungsverhalten, das Web-Crawler für die Seite verwenden sollen. Falls angegeben, definieren Sie Anweisungen für Crawler imcontent-Attribut des<meta>-Elements als kommagetrennte Liste von einer oder mehreren Regeln.

Zum Beispiel, um Crawler darauf hinzuweisen, dass eine Seite von deren Suchindizes ausgeschlossen werden soll, kann einnoindex Wert verwendet werden:

<meta name="robots" content="noindex" />

Verwendungshinweise

Ein<meta name="robots">-Element kann die folgenden zusätzlichen Attribute haben:

content

Dascontent-Attribut muss definiert werden, und sein Wert legt das Indexierungs- und Crawlingverhalten für kooperative Suchmaschinenroboter fest.Akzeptiert eines oder mehrere der folgenden Schlüsselwörter als kommagetrennte Liste:

index

Erlaubt dem Roboter, die Seite zu indizieren. Dies ist das Standardverhalten.Wird von allen großen Crawlern verwendet.

noindex

Fordert den Roboter auf, die Seite nicht zu indizieren.Wird von allen großen Crawlern verwendet.

follow

Erlaubt dem Roboter, Links auf der Seite zu folgen. Dies ist das Standardverhalten.Wird von allen großen Crawlern verwendet.

nofollow

Fordert den Roboter auf, den Links auf der Seite nicht zu folgen.Wird von allen großen Crawlern verwendet.

all

Entsprichtindex, follow.Verwendet von:Google.

none

Entsprichtnoindex, nofollow.Verwendet von:Google.

noarchive

Fordert die Suchmaschine auf, den Seiteninhalt nicht zwischenzuspeichern.Verwendet von:Google,Yahoo,Bing.

nosnippet

Verhindert die Anzeige einer Seitenbeschreibung in den Suchergebnissen.Verwendet von:Google,Bing.

noimageindex

Fordert, dass diese Seite nicht als verweisende Seite eines indizierten Bildes erscheint.Verwendet von:Google.

nocache

Synonym fürnoarchive.Verwendet von:Bing.

Beschreibung

Es gibt mehrere wichtige Überlegungen zu beachten, wenn Sie einenrobots Meta-Wert festlegen:

• Nur kooperative Roboter befolgen diese Regeln. Sie werden böswillige Akteure wie E-Mail-Ernter nicht daran hindern, die Anweisungen zu ignorieren.
• Wenn sie in einem<meta>-Tag definiert sind, müssen Roboter dennoch auf die Seite zugreifen, um diese Regeln zu lesen. Um Bandbreite zu sparen, ziehen Sie stattdessen die Verwendung einerrobots.txt-Datei in Betracht.
• Das<meta name="robots">-Tag undrobots.txt erfüllen unterschiedliche Rollen:robots.txt steuert das Crawling, während dasrobots Meta-Tag die Indexierung und andere Verhaltensweisen beeinflusst.
• Eine vonrobots.txt blockierte Seite kann trotzdem indiziert werden, wenn sie von anderen Quellen verlinkt ist.
• Dienoindex-Anweisung wird erst wirksam, nachdem der Roboter die Seite erneut besucht hat, daher stellen Sie sicher, dassrobots.txt dies nicht verhindert.
• Einige Werte, wieindex vs.noindex oderfollow vs.nofollow, sind gegenseitig ausschließend. Das Verhalten ist undefiniert, wenn widersprüchliche Werte verwendet werden.
• Roboter wie Google, Yahoo und Bing unterstützen diese Anweisungen auch im HTTP-HeaderX-Robots-Tag, was für nicht-HTML-Inhalte wie PDFs oder Bilder nützlich ist.

Beispiele

Verwendung eines robots-Schlüsselworts

Das folgende Beispiel verwendetnofollow, um zu fordern, dass ein Crawler den Links auf einer Seite nicht folgt, undnoindex, um zu fordern, dass die Seite von der Indexierung ausgeschlossen wird:

<meta name="robots" content="nofollow, noindex" />

Spezifikationen

Obwohl es nicht Teil irgendeiner Spezifikation ist, handelt es sich um eine De-facto-Standardmethode zur Kommunikation mit Suchbots, Webcrawlern und ähnlichen Benutzeragenten.

Browser-Kompatibilität

Dieses Feature ist für Crawler gedacht, daher ist "Browser"-Kompatibilität nicht anwendbar.

Siehe auch

• X-Robots-Tag HTTP-Header
• robots.txt-Konfiguration Leitfaden
• robots.txt Glossareintrag
• Suchmaschine Glossareintrag
• RFC 9309: Robots Exclusion Protocol
• WHATWG Wiki MetaExtensions-Seite
• Verwendung des Robots-Meta-Tags auf developers.google.com