Geschrieben von

Indexierungsanweisungen mit dem Robots-Tag

SEO

Mit dem Robots-Tag kann man steuern, welche Seiten und Inhalte von Suchmaschinen indexiert werden können. Darum geht es in diesem Artikel:

Ebenen der Indexierungsansweisung

Die Indexierungssteuerung kann auf 2 Ebenen stattfinden:

  • Auf URL-Ebene mittels HTML-Meta-Tag oder HTTP-Header-Tag
  • Auf Text-Ebene mittels HTML-Attribut “data-nosnippet”

Technische Implementierung

Das HTML-Meta-Tag wird im Head-Bereich der Website platziert, um die Indexierung zu steuern:

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex" />

</head>
<body>…</body>
</html>

Der Wert des content-Attributs kann verschiedene Anweisungen enthalten (siehe weiter unten unter “Mögliche Anweisungen”). Im name-Attribut können ebenfalls verschiedene Werte angegeben werden. Mit robots spricht man alle Crawler an. Möchte man einzelne Crawler ansprechen, müssen diese hier angegeben werden. Wenn nur der Googlebot angesprochen werden soll, dann setzt man statt robots den Wert auf Googlebot. Auch kann man mehrere Robots-Angaben im Head-Bereich machen, um bspw. mehrere Crawler einzeln anzusprechen.

Die Indexierungssteuerung lässt sich auch über den HTTP-Header regeln. Bei einem Apache-Server sieht der Code wie folgt aus (z.B. für PDF-Dateien):

<Files ~ "\.pdf$">
Header set X-Robots-Tag "noindex, nofollow"
</Files>

Die Angabe für einen NGINX lautet wie folgt:

location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, nofollow";
}

Vorteil dieser Methode ist, dass auch Nicht-HTML-Dateien angesprochen werden können: PDF, Bilder, etc. Auch bei der HTTP-Header-Variante können verschiedene Anweisungen mitgegeben werden (siehe weiter unten).

Mit dem HTML-Attribut “data-nosnippet” können Indexierungsvorgänge einzelner Textabschnitte gesteuert werden. Das Attribut wurde 2019 von Google eingeführt und kann auf span, div und section angewendet werden. Im Code sieht das dann wie folgt aus:

<p>Dieser Text wird im Snippet angezeigt <span data-nosnippet>>aber dieser Text nicht</span>.</p>

<div data-nosnippet>Nicht im Snippet</div>

<div data-nosnippet="true">Auch nicht im Snippet</div>

Mögliche Anweisungen

Folgende Indexierungsanweisungen können Suchmaschinen mitgegeben werden. Die nachfolgenden Angaben beziehen sich auf Google. Bei anderen Suchmaschinen kann es einzelne Abweichungen geben.

  • all: Es gibt keine Indexierungseinschränkungen. Dies ist auch der Standardwert, wenn keine Angaben gemacht werden.
  • noindex: Die jeweilige Seite darf nicht indexiert werden.
  • index: Die jeweilige Seite darf indexiert werden.
  • nofollow: Den Links auf der Seite soll nicht gefolgt werden.
  • follow: Den Links auf der Seite soll gefolgt werden.
  • none: Entspricht “noindex, nofollow”.
  • noarchive: Der Link “Im Cache” soll in den SERPs nicht angezeigt werden.
  • nosnippet: Für die Seite soll kein Text-Snippet und keine Videovorschau angezeigt werden. Miniaturansichten werden weiterhin angezeigt.
  • max-snippet:[number]: Hiermit lässt sich die maximale Zeichenanzahl des Textes steuern. [number] wird dabei durch die Zeichenanzahl, die man zur Verfügung stellen möchte, ersetzt. Damit die Anweisung funktioniert, muss ein Wert statt [number] angegeben werden. Bei 0 soll kein Text-Snippet angezeigt werden, was auch der Angabe nosnippet entspricht. Bei der Angabe von -1 werden keine Beschränkungen gesetzt.
  • max-image-preview:[setting]: Mit dieser Angabe wird die maximal Größe einer Bildvorschau festgelegt. 3 Werte können hier statt [setting] gesetzt werden. Mit none soll keine Bildvorschau angezeigt werden. Mit standard darf eine Vorschau angezeigt werden. Mit large darf Google eine größere Bildvorschau anzeigen.
  • max-video-preview:[number]: Mit [number] legt man hier fest, wie viele Sekunden maximal als Video-Snippet verwendet werden dürfen. Mit der Angabe 0 darf maximal ein statisches Bild verwendet werden. Mit -1 gibt es kein Limit.
  • notranslte: Damit darf keine Übersetzung angeboten werden.
  • noimageindex: Bilder auf der Seite dürfen nicht indexiert werden.
  • unavailable_after: [RFC-850 date/time]: Statt [RFC-850 date/time] muss ein Datum inkl. Uhrzeit im RFC 850-Format angegeben werden, um die Seite nach diesem Datum nicht mehr in den SERPs anzuzeigen.

Weitere Hinweise

  • Mit nosnippet werden auch keine Featured Snippets ausgegeben.
  • Die verschiedenen Anweisungen können auch miteinander innerhalb des content-Attributs kombiniert werden.
  • Ein zu niedriger Wert bei max-snippet:[number] kann dazu führen, dass Featured Snippets nicht angezeigt werden können.
  • Ein zu häufiger Wechsel zwischen “noindex” und “index” kann dazu führen, dass bei einem wiederholten Wechsel auf “index” die Seite langsamer indexiert wird. Grund: Bei “noindex” reduziert sich die Crawl-Häufigkeit der Seite. Das neu hinzugefügte “index” könnte dementsprechend zu einem späteren Zeitpunkt erst verarbeitet werden.
  • Wenn Meta-Robots mehrfach angegeben wird und sich die Angaben widersprechen, dann zählt das restriktivere. Werden “index” und “noindex” auf der Seite angegeben, wird “noindex” als final angenommen.

Bing hat am 08. April 2020 ebenfalls verkündet, Meta-Tags wie max-snippet, max-image-preview und max-image-preview zu unterstützen.

Last modified: 17. Juli 2020