Meta Robots Definitionen sind Angaben im HTML Head, die Suchmaschinen-Crawler anweisen, ob eine Seite indexiert werden und ob vorhandenen Links weiter gefolgt werden soll.
<html>
<head>
<meta name="robots" content="noindex" />
</head>
</html>
Der Meta-Robots-Tag kann mit folgenden Werten definiert werden:
| Meta-Robots-Angabe | Wirkung |
|---|---|
| noindex | Die Seite wird von der Suchmaschine nicht indexiert |
| nofollow | Links auf der Seite wird nicht gefolgt |
| index | Die Seite wird von der Suchmaschine indexiert |
| follow | Links auf der Seite wird gefolgt |
| index,follow | Die Seite wird von der Suchmaschine indexiert und vorhandenen Links wird gefolgt |
Damit die Anweisungen nur für den Googlebot gelten, kann die folgende Anweisung verwendet werden:
<html>
<head>
<meta name="googlebot" content="noindex" />
</head>
</html>
Anstelle des Meta Robots Tags kann der HTTP-Header X-Robots verwendet werden.