Meta Robots

Meta Robots Definitionen sind Angaben im HTML Head, die Suchmaschinen-Crawler anweisen, ob eine Seite indexiert werden und ob vorhandenen Links weiter gefolgt werden soll.

<html>
  <head>
	<meta name="robots" content="noindex" />
  </head>
</html>

index, follow, noindex, nofollow

Der Meta-Robots-Tag kann mit folgenden Werten definiert werden:

Meta-Robots-AngabeWirkung
noindexDie Seite wird von der Suchmaschine nicht indexiert
nofollowLinks auf der Seite wird nicht gefolgt
indexDie Seite wird von der Suchmaschine indexiert
followLinks auf der Seite wird gefolgt
index,followDie Seite wird von der Suchmaschine indexiert und vorhandenen Links wird gefolgt

Spezielle Anweisungen für den Googlebot

Damit die Anweisungen nur für den Googlebot gelten, kann die folgende Anweisung verwendet werden:

<html>
  <head>
	<meta name="googlebot" content="noindex" />
  </head>
</html>

Alternative: HTTP-Header X-Robots-Tag verwenden

Anstelle des Meta Robots Tags kann der HTTP-Header X-Robots verwendet werden.