gelöschter Benutzer
Robots.txt | Nur Startseite zum Crawlen freigeben!
Hallo zusammen,
kurze Frage.
Wie kann ich nur die Startseite zum Crawlen freigeben per Robots.txt?
Bei dieser Anwendung:
User-agent: *
Disallow: /
Allow: /index.php
Liefert Google folgendes:
Zugriff auf Startseite
Googlebot wird von ... blockiert.
Ich würde mich sehr über eine rasche Antwort freuen.
Dank vorab.
Beste Web-Grüße
SeoBaedorf.
gelöschter Benutzer
Hallo shoxii
Ein ähnliches Problem hatte ich auch mal für dieses Verzeichnis.
joerghuelsermann.de/farbe/
Also du kannst dir gerne meine robots.txt anschauen.
Es ist jetzt stark abhängig davon wie deine Seite insgesamt aussieht.
Mit dem Wildcard zeichen * kann man schon viel realiseren aber nicht alles.
Also vermeiden solltest du auf jeden Fall.
Disallow: /
Disallow: /*.txt
Disallow: /r
Gruß
Jörg
gelöschter Benutzer
Hallo shoxii, hi Joerg,
man könnte auch einfach das Meta-Tag Robots auf allen Seiten auf noindex setzten und nur die Startseite auf index.
Gruß Thomas
gelöschter Benutzer
Hallo Thomas
Du das ist schon ein gewaltiger Unterschied.
Eine Sperre in der robots.txt bedeutet das die Datei gar nicht erst aufgerufen wird. Maximal der Head wenn die Seite über eine Umleitung aufgerufen werden sollte.
Ausserdem hatte ich mit noindex,nofollow am Anfang experimentiert. Folge die SVG Dateien waren im Index. Also dieses Metatag empfinde ich so was von überflüssig. Und ich werde nur noch die robots.txt für solche Fälle einsetzen.
Bei den wenigen Angaben von shoxii kann man auch nicht konkreter werden. Was ist wenn er/sie zum Beispiel PDF Dateien nur sperren möchte?
Gruß
Jörg
gelöschter Benutzer
shoxii schrieb:
User-agent: *
Disallow: /
Allow: /index.php
Du musst "/" (die echte Startseite) freigeben und nicht "/index.php".
Im Grunde würde ich folgendes versuchen:
User-agent: *
Disallow: /
Allow: /$
Das sollte alles blockieren, ausser der Hauptseite. Das $-Zeichen steht wie beim RegEx für\'s String-Ende.
Nach belieben kannst du auch noch ein "Allow: /index.php" anfügen, was aber eigentlich nicht nötig ist.
gelöschter Benutzer
Raptor schrieb:
Im Grunde würde ich folgendes versuchen:
User-agent: *
Disallow: /
Allow: /$
Das werde ich versuchen.
Soweit ich das nachvollziehen kann müsste dies wirklich funktionieren.
Eine Bestätigung von einem Dritten würde mein Gewissen jedoch durchaus erleichtern
Beste Grüße
shoxii
seitenreport
Inhaber
TYPO3 Senior Developer
Content Gott (1772 Beiträge)
shoxii schrieb:
Raptor schrieb:
Im Grunde würde ich folgendes versuchen:
User-agent: *
Disallow: /
Allow: /$
...
Eine Bestätigung von einem Dritten würde mein Gewissen jedoch durchaus erleichtern
Warum probierst Du es nicht einfach aus?
z.B. via Google Webmaster Tools => Abruf wie durch GoogleBot. Wenn er die Sperre der Unterseiten erkennt, sollte dort eine Fehlermeldung ausgespuckt werden. Die Startseite sollte normal gecrwalt werden können.
Beste Grüße,
Matthias
SEO Analyse und Website-Check mit Seitenreport
gelöschter Benutzer
Funktioniert!
Besten Dank.
Gruß
shoxii
Das Seitenreport Forum hat aktuell 5279 Themen und 36112 Beiträge.
Insgesamt sind 496 Mitglieder registriert.
Beitrag erstellen
EinloggenKostenlos registrieren