Meta Robots ist ein Meta Tag, mit welchem man die Robots gewissermaßen steuern kann.

Mit bestimmten Vorgaben kann man den Robots erlauben, ob diese die jeweilige Seite indexieren dürfen oder nicht.

Es ist möglich, dass Suchmaschinen Robots die Seite indexieren dürfen, jedoch den Backlinks, die im Inhalt (Content) vorkommen, nicht folgen dürfen und das ebenfalls umgekehrt.

 

Eines der Standards der Meta Robots Tags ist folgener Code:

<meta name="robots" content="index,follow" />

 

oder auch

<meta name="robots" content="all" />

 

Dazu gibt es spezifische Zusatzcodes, die nicht zwingend erforderlich, jedoch zu empfehlen sind:

Es gibt einen Yahoo freundlichen Zusatzcode „noydir“ welches den Yahoo Robots erlaubt den Inhalt (Content) der Internetpräsenz zu indexieren (Crawling).

<meta name="robots" content="noydir" />

 

Es gibt einen Google freundlichen Zusatzcode „noodp“ welches den Google Robots erlaubt den Inhalt (Content) der Internetpräsenz zu indexieren (Crawling).

<meta name="robots" content="noodp" />

 

Der Robot der Suchmaschinen soll die Webseite nicht in den Index speichern. Die Webseite soll also nicht in den Ergebnissen der Suchmaschinen (SERPs) aufzufinden sein.

• Mehr hierzu findet ihr unter: Der NoIndex Code.

<meta name="robots" content="noindex" />

 

Der Robot der Suchmaschinen wird die Webseite aufnehmen, aber soll den Backlinks auf der Webseite nicht folgen.

• Mehr hierzu findet ihr unter: Der NoFollow Attribut.

<meta name="robots" content="nofollow" />

 

Welcher Meta Robots Tag ist zu empfehlen?

Oft wird das komplett Paket der Meta Robots Tags eingefügt:

<meta name="robots" content="index,follow,noodp,noydir" />