shoxii
Themenersteller
Beginner (18 Beiträge)
Robots.txt | Nur Startseite zum Crawlen freigeben!
Hallo zusammen,
kurze Frage.
Wie kann ich nur die Startseite zum Crawlen freigeben per Robots.txt?
Bei dieser Anwendung:
User-agent: *
Disallow: /
Allow: /index.php
Liefert Google folgendes:
Zugriff auf Startseite
Googlebot wird von ... blockiert.
Ich würde mich sehr über eine rasche Antwort freuen.
Dank vorab.
Beste Web-Grüße
SeoBaedorf.
joerg
Fachinformatiker Anwendungsentwicklung
Content Gott (1941 Beiträge)
gelöschter Benutzer
Hallo shoxii, hi Joerg,
man könnte auch einfach das Meta-Tag Robots auf allen Seiten auf noindex setzten und nur die Startseite auf index.
Gruß Thomas
joerg
Fachinformatiker Anwendungsentwicklung
Content Gott (1941 Beiträge)
Hallo Thomas
Du das ist schon ein gewaltiger Unterschied.
Eine Sperre in der robots.txt bedeutet das die Datei gar nicht erst aufgerufen wird. Maximal der Head wenn die Seite über eine Umleitung aufgerufen werden sollte.
Ausserdem hatte ich mit noindex,nofollow am Anfang experimentiert. Folge die SVG Dateien waren im Index. Also dieses Metatag empfinde ich so was von überflüssig. Und ich werde nur noch die robots.txt für solche Fälle einsetzen.
Bei den wenigen Angaben von shoxii kann man auch nicht konkreter werden. Was ist wenn er/sie zum Beispiel PDF Dateien nur sperren möchte?
Gruß
Jörg
Zufällige Umleitung zu der Startseite einer meiner Domains
Meine ungewöhnlichen Tools
Raptor
IT-Student
Content Gott (1013 Beiträge)
shoxii schrieb:
User-agent: *
Disallow: /
Allow: /index.php
Du musst "/" (die echte Startseite) freigeben und nicht "/index.php".
Im Grunde würde ich folgendes versuchen:
User-agent: *
Disallow: /
Allow: /$
Das sollte alles blockieren, ausser der Hauptseite. Das $-Zeichen steht wie beim RegEx für\'s String-Ende.
Nach belieben kannst du auch noch ein "Allow: /index.php" anfügen, was aber eigentlich nicht nötig ist.
Meine Developer-Website mit den Web-Entwickler-Tools.
Meine Web-Entwicklungs-Dienstleistungen
[url="http://www.seitenreport.de/forum/beitraege/seitenreport_verlosungen/wichtig_neue_regel
Raptor schrieb:
Im Grunde würde ich folgendes versuchen:
User-agent: *
Disallow: /
Allow: /$
Das werde ich versuchen.
Soweit ich das nachvollziehen kann müsste dies wirklich funktionieren.
Eine Bestätigung von einem Dritten würde mein Gewissen jedoch durchaus erleichtern
Beste Grüße
shoxii
seitenreport
Inhaber
TYPO3 Senior Developer
Content Gott (1772 Beiträge)
shoxii schrieb:
Raptor schrieb:
Im Grunde würde ich folgendes versuchen:
User-agent: *
Disallow: /
Allow: /$
...
Eine Bestätigung von einem Dritten würde mein Gewissen jedoch durchaus erleichtern
Warum probierst Du es nicht einfach aus?
z.B. via Google Webmaster Tools => Abruf wie durch GoogleBot. Wenn er die Sperre der Unterseiten erkennt, sollte dort eine Fehlermeldung ausgespuckt werden. Die Startseite sollte normal gecrwalt werden können.
Beste Grüße,
Matthias
SEO Analyse und Website-Check mit Seitenreport
Funktioniert!
Besten Dank.
Gruß
shoxii
Das Seitenreport Forum hat aktuell 5275 Themen und 36110 Beiträge.
Insgesamt sind 48360 Mitglieder registriert.
Beitrag erstellen
EinloggenKostenlos registrieren