Hallo zusammen,
kurze Frage.
Wie kann ich nur die Startseite zum Crawlen freigeben per Robots.txt?
Bei dieser Anwendung:
User-agent: *
Disallow: /
Allow: /index.php
Liefert Google folgendes:
Zugriff auf Startseite
Googlebot wird von ... blockiert.
Ich würde mich sehr über eine rasche Antwort freuen.
Dank vorab.
Beste Web-Grüße
SeoBaedorf.
Hallo shoxii
Ein ähnliches Problem hatte ich auch mal für dieses Verzeichnis.
Hallo shoxii, hi Joerg,
man könnte auch einfach das Meta-Tag Robots auf allen Seiten auf noindex setzten und nur die Startseite auf index.
Gruß Thomas
Hallo Thomas
Du das ist schon ein gewaltiger Unterschied.
Eine Sperre in der robots.txt bedeutet das die Datei gar nicht erst aufgerufen wird. Maximal der Head wenn die Seite über eine Umleitung aufgerufen werden sollte.
Ausserdem hatte ich mit noindex,nofollow am Anfang experimentiert. Folge die SVG Dateien waren im Index. Also dieses Metatag empfinde ich so was von überflüssig. Und ich werde nur noch die robots.txt für solche Fälle einsetzen.
Bei den wenigen Angaben von shoxii kann man auch nicht konkreter werden. Was ist wenn er/sie zum Beispiel PDF Dateien nur sperren möchte?
Gruß
Jörg
shoxii schrieb:
User-agent: *
Disallow: /
Allow: /index.php
Du musst "/" (die echte Startseite) freigeben und nicht "/index.php".
Im Grunde würde ich folgendes versuchen:
User-agent: *
Disallow: /
Allow: /$
Das sollte alles blockieren, ausser der Hauptseite. Das $-Zeichen steht wie beim RegEx für\'s String-Ende.
Nach belieben kannst du auch noch ein "Allow: /index.php" anfügen, was aber eigentlich nicht nötig ist.
Raptor schrieb:
Im Grunde würde ich folgendes versuchen:
User-agent: *
Disallow: /
Allow: /$
Das werde ich versuchen.
Soweit ich das nachvollziehen kann müsste dies wirklich funktionieren.
Eine Bestätigung von einem Dritten würde mein Gewissen jedoch durchaus erleichtern
Beste Grüße
shoxii
shoxii schrieb:
Raptor schrieb:
Im Grunde würde ich folgendes versuchen:
User-agent: *
Disallow: /
Allow: /$
...
Eine Bestätigung von einem Dritten würde mein Gewissen jedoch durchaus erleichtern
Warum probierst Du es nicht einfach aus?
z.B. via Google Webmaster Tools => Abruf wie durch GoogleBot. Wenn er die Sperre der Unterseiten erkennt, sollte dort eine Fehlermeldung ausgespuckt werden. Die Startseite sollte normal gecrwalt werden können.
Beste Grüße,
Matthias
Funktioniert!
Besten Dank.
Gruß
shoxii
Beitrag erstellen
EinloggenKostenlos registrieren