DerX-Robots-TagAntwort-Header definiert, wieCrawler URLs indexieren sollen.Obwohl nicht Teil einer offiziellen Spezifikation, ist es ein de-facto Standardverfahren zur Kommunikation mit Suchmaschinen-Bots, Web-Crawlers und ähnlichen Benutzeragenten.Suchmaschinenbezogene Crawler nutzen die Regeln imX-Robots-Tag-Header, um anzupassen, wie Webseiten oder andere Ressourcen in den Suchergebnissen dargestellt werden.

Indexierungsregeln sind entweder in einemX-Robots-Tag-Header oder einem<meta name="robots"> HTML-Element (oft als "Robots-Tag" bezeichnet) definiert und werden entdeckt, wenn eine URL gecrawlt wird.Das Spezifizieren von Indexierungsregeln in einem HTTP-Header ist nützlich für Nicht-HTML-Dokumente wie Bilder, PDFs oder andere Medien.

Syntax

X-Robots-Tag: <indexing-rule>X-Robots-Tag: <indexing-rule>, …, <indexing-ruleN>

Ein optionales<bot-name>: gibt den Benutzeragenten an, auf den die folgenden Regeln angewendet werden sollen:

X-Robots-Tag: <indexing-rule>, <bot-name>: <indexing-rule>X-Robots-Tag: <bot-name>: <indexing-rule>, …, <indexing-ruleN>

SieheSpezifizieren von Benutzeragenten für ein Beispiel.

Direktiven

Folgende Indexierungsregeln können verwendet werden:

all

Keine Einschränkungen für die Indexierung oder Anzeige in Suchergebnissen.Diese Regel ist der Standardwert und hat keine Wirkung, wenn sie explizit aufgelistet ist.

noindex

Diese Seite, Medien oder Ressource nicht in Suchergebnissen anzeigen.Fehlt diese Regel, können die Seite, Medien oder Ressource indexiert und in Suchergebnissen angezeigt werden.

nofollow

Die Links auf dieser Seite nicht verfolgen.Fehlt diese Regel, können Suchmaschinen die Links auf der Seite verwenden, um die verlinkten Seiten zu entdecken.

none

Entsprichtnoindex, nofollow.

nosnippet

Kein Textsnippet oder Videovorschau in den Suchergebnissen für diese Seite anzeigen.Ein statisches Bildminiaturbild (falls vorhanden) kann weiterhin sichtbar sein.Fehlt diese Regel, können Suchmaschinen ein Textsnippet und eine Videovorschau basierend auf Informationen auf der Seite generieren.Um zu verhindern, dass bestimmte Abschnitte Ihres Inhalts in Suchergebnissnippets erscheinen, verwenden Sie dasdata-nosnippet HTML-Attribut.

indexifembedded

Eine Suchmaschine darf den Inhalt einer Seite indexieren, wenn diese in eine andere Seite eingebettet ist, z. B. über iframes oder ähnliche HTML-Elemente, trotz einernoindex-Regel.indexifembedded hat nur eine Wirkung, wenn es vonnoindex begleitet wird.

max-snippet: <number>

Verwenden Sie maximal<number> Zeichen als Textsnippet für dieses Suchergebnis.Wird ignoriert, wenn keine gültige<number> angegeben ist.

max-image-preview: <setting>

Die maximale Größe einer Bildvorschau für diese Seite in Suchergebnissen.Fehlt diese Regel, können Suchmaschinen eine Bildvorschau in der Standardgröße anzeigen.Wenn Sie nicht möchten, dass Suchmaschinen größere Miniaturbilder verwenden, geben Sie einenmax-image-preview-Wert vonstandard odernone an. Werte sind unter anderem:

none

Es wird keine Bildvorschau angezeigt.

standard

Eine Standardbildvorschau darf angezeigt werden.

large

Eine größere Bildvorschau bis zur Breite des Ansichtsfensters kann angezeigt werden.

max-video-preview: <number>

Verwenden Sie maximal<number> Sekunden als Videovorschau für Videos auf dieser Seite in Suchergebnissen.Wenn diese Regel fehlt, können Suchmaschinen eine Videovorschau in Suchergebnissen anzeigen, und die Suchmaschine entscheidet, wie lang eine Vorschau sein darf.Wird ignoriert, wenn keine gültige<number> angegeben ist.Spezielle Werte sind wie folgt:

0

Höchstens ein statisches Bild darf verwendet werden, gemäß denmax-image-preview-Einstellungen.

-1

Keine Begrenzung der Videolänge.

notranslate

Keine Übersetzung dieser Seite in Suchergebnissen anbieten.Fehlt diese Regel, können Suchmaschinen den Suchergebnistitel und das Snippet in die Sprache der Suchanfrage übersetzen.

noimageindex

Bilder auf dieser Seite nicht indexieren.Fehlt diese Regel, können Bilder auf der Seite indexiert und in Suchergebnissen angezeigt werden.

unavailable_after: <date/time>

Fordert, dass diese Seite nach dem angegebenen<date/time> nicht mehr in Suchergebnissen angezeigt wird.Wird ignoriert, wenn kein gültiges<date/time> angegeben ist.Ein Datum muss in einem Format wieRFC 822,RFC 850 oder ISO 8601 angegeben werden.

Standardmäßig gibt es kein Ablaufdatum für Inhalte.Wenn diese Regel fehlt, kann diese Seite auf unbestimmte Zeit in Suchergebnissen angezeigt werden.Crawler erwarten eine deutliche Verringerung der Crawling-Frequenz der URL nach dem angegebenen Datum und der angegebenen Uhrzeit.

Beschreibung

Indexierungsregeln über<meta name="robots"> undX-Robots-Tag werden entdeckt, wenn eine URL gecrawlt wird.Die meisten Crawler unterstützen Regeln imX-Robots-Tag HTTP-Header, die in einem<meta name="robots">-Element verwendet werden können.

Im Falle von widersprüchlichen Robot-Regeln imX-Robots-Tag oder zwischen demX-Robots-Tag HTTP-Header und dem<meta name="robots">-Element gilt die restriktivere Regel.Zum Beispiel, wenn eine Seite sowohlmax-snippet:50 als auchnosnippet Regeln hat, wird dienosnippet-Regel angewendet.Indexierungsregeln werden nicht entdeckt oder angewendet, wenn Pfade durch einerobots.txt-Datei vom Crawlen blockiert sind.

Einige Werte sind gegenseitig ausschließend, wieindex undnoindex, oderfollow undnofollow.In diesen Fällen ist das Verhalten des Crawlers undefiniert und kann variieren.

Interaktion mit robots.txt

Wenn eine Ressource durch einerobots.txt-Datei vom Crawlen blockiert ist, werden jegliche Informationen über Indexierungs- oder Bereitstellungsregeln, die mit<meta name="robots"> oder demX-Robots-Tag HTTP-Header spezifiziert sind, nicht erkannt und daher ignoriert.

Eine Seite, die vom Crawlen blockiert ist, kann dennoch indexiert werden, wenn sie von einem anderen Dokument referenziert wird (siehe dienofollow Direktive).Wenn Sie eine Seite aus den Suchindizes entfernen möchten, funktioniertX-Robots-Tag: noindex normalerweise, aber ein Roboter muss die Seite zuerst erneut besuchen, um dieX-Robots-Tag-Regel zu erkennen.

Beispiele

Verwendung des X-Robots-Tag

Der folgendeX-Robots-Tag-Header fügtnoindex hinzu, um Crawler zu bitten, diese Seite, Medien oder Ressource nicht in Suchergebnissen anzuzeigen:

HTTP/1.1 200 OKDate: Tue, 03 Dec 2024 17:08:49 GMTX-Robots-Tag: noindex

Mehrere Header

Die folgende Antwort hat zweiX-Robots-Tag-Header, von denen jeder eine Indexierungsregel spezifiziert:

HTTP/1.1 200 OKDate: Tue, 03 Dec 2024 17:08:49 GMTX-Robots-Tag: noimageindexX-Robots-Tag: unavailable_after: Wed, 03 Dec 2025 13:09:53 GMT

Spezifizieren von Benutzeragenten

Es ist möglich anzugeben, auf welchen Benutzeragenten die Regeln angewendet werden sollen.Das folgende Beispiel enthält zweiX-Robots-Tag-Header, diegooglebot auffordern, die Links auf dieser Seite nicht zu verfolgen, und einen fiktivenBadBot-Crawler, die Seite weder zu indexieren noch irgendwelche Links darauf zu verfolgen:

HTTP/1.1 200 OKDate: Tue, 03 Dec 2024 17:08:49 GMTX-Robots-Tag: BadBot: noindex, nofollowX-Robots-Tag: googlebot: nofollow

In der unten stehenden Antwort sind die gleichen Indexierungsregeln definiert, jedoch in einem einzelnen Header.Jede Indexierungsregel wird auf den Benutzeragenten angewendet, der dahinter angegeben ist:

HTTP/1.1 200 OKDate: Tue, 03 Dec 2024 17:08:49 GMTX-Robots-Tag: BadBot: noindex, nofollow, googlebot: nofollow

In Situationen, in denen mehrere Crawler mit unterschiedlichen Regeln spezifiziert werden, verwendet die Suchmaschine die Summe der negativen Regeln.Zum Beispiel:

X-Robots-Tag: nofollowX-Robots-Tag: googlebot: noindex

Die Seite, die diese Header enthält, wird interpretiert, als habe sie einenoindex, nofollow Regel, wenn sie vongooglebot gecrawlt wird.

Spezifikationen

Teil keiner aktuellen Spezifikation.

Siehe auch

• robots.txt
• Suchmaschine
• <meta name="robots"> HTML-Element ("Robots-Tag")
• robots.txt-Konfiguration Sicherheitsleitfaden
• RFC 9309: Robots Exclusion Protocol
• Verwendung des X-Robots-Tag HTTP-Headers auf developers.google.com