Geschrieben von

URLs aus dem Google-Index entfernen

MarTech/AdTech

Es gibt verschiedene Möglichkeiten URLs und Seiten aus dem Google-Index zu nehmen. Im nachfolgenden gehe ich auf diverse Möglichkeiten ein.

  • noindex-Anweisung
  • 404- oder 410-Status senden
  • Tool zum Ausblenden von URLs in Google Search Console
  • Tool “Veraltete Inhalte entfernen”
  • Antrag auf Entfernung von Inhalten (aus rechtlichen Gründen)

noindex-Anweisung

Mit der noindex-Anweisung innerhalb des Head- oder HTTP-Header-Bereichs kann man Suchmaschinen mitteilen, dass die jeweilige URL nicht indexiert werden soll. URLs, die noch nicht indexiert sind, werden somit nicht in den Suchindex aufgenommen. URLs, die schon im Index sind, werden beim nächsten Crawl aus dem Index wieder genommen. Bei HTML-Dokumenten sieht die Angabe im Head-Bereich folgendermaßen aus:
<meta name="robots" content="noindex"/>

Die noindex-Anweisung kann man aber auch über den HTTP-Header mitgeben, der dann wie folgt aussieht:
X-Robots-Tag: noindex

Vorteil der zweiten Methode ist, dass man dadurch auch Bilder und PDFs von der Indexierung ausschließen kann. Zudem können mit dem HTTP-Header unterschiedliche Suchmaschinen angesprochen werden.

Man muss jedoch beachten, dass mit der noindex-Anweisung die Seite nur aus den Google-Index verschwindet. Die Seite ist aber weiterhin aufrufbar und durch eventuelle interne und externe Links ansteuerbar.

404- oder 410-Status senden

Will man eine Seite nicht nur aus dem Google-Index rausnehmen, sondern auch die Erreichbarkeit nicht mehr gewährleisten, so muss man sicherstellen, dass die URL einen 404 oder 410 Status Code sendet. Diese Fehlercodes sorgen dafür, dass die URL dauerhaft aus dem Index verschwindet. Ein 410 Status Code hat zur Folge, dass die URL schneller aus dem Index fliegt als eine 404-Seite. Eine 404-Seite crawlt Google öfter, bis der Bot sie schlussendlich aus dem Index nimmt.

Tool zum Ausblenden von URLs in Google Search Console

Innerhalb der Google Search Console gibt es ein Tool namens “URLs entfernen”, mit dem man URLs aus dem Google-Index für max. 90 Tage ausblenden kann. Danach wird die URL jedoch wieder in den Index aufgenommen, falls man nicht Gegenmaßnahmen für eine dauerhafte Deindexierung ergreift.

Tool “Veraltete Inhalte entfernen”

Die oben 3 genannten Methoden erfordern, dass man selbst Inhaber der Webseite ist. Es gibt jedoch das Tool “Veraltete Inhalte entfernen” mit dem man auch Inhalte und URLs aus dem Google-Index entfernen lassen kann, auf die man nicht Zugriff hat. Informationen und Voraussetzungen zur Nutzung des Tools gibt es hier: https://support.google.com/webmasters/answer/7041154?hl=de.

Antrag auf Entfernung von Inhalten (aus rechtlichen Gründen)

Falls eine URL, auf die man keinen Zugriff hat, aus rechtlichen Gründen aus dem Google-Index entfernt werden muss, kann man einen “Antrag auf Entfernung von Inhalten” direkt bei Google stellen. Informationen dazu und wie man vorgehen muss, findet man hier: https://support.google.com/legal/answer/3110420.