shoxii
Themenersteller
Beginner (18 Beiträge)

Robots.txt | Nur Startseite zum Crawlen freigeben!

am 11.10.2011, 16:05 Uhr eröffnete shoxii folgenden Thread
OnPage Optimierung    4674 mal gelesen    7 Antwort(en).

Hallo zusammen,

kurze Frage.
Wie kann ich nur die Startseite zum Crawlen freigeben per Robots.txt?

Bei dieser Anwendung:

User-agent: *
Disallow: /
Allow: /index.php

Liefert Google folgendes:

Zugriff auf Startseite
Googlebot wird von ... blockiert.

Ich würde mich sehr über eine rasche Antwort freuen.
Dank vorab.
Beste Web-Grüße
SeoBaedorf.


joerg
Avatar joerg
Fachinformatiker Anwendungsentwicklung
Content Gott (1941 Beiträge)
am 11.10.2011, 17:18 Uhr schrieb joerg

Hallo shoxii

Ein ähnliches Problem hatte ich auch mal für dieses Verzeichnis.

joerghuelsermann.de/farbe/



Also du kannst dir gerne meine robots.txt anschauen.

Es ist jetzt stark abhängig davon wie deine Seite insgesamt aussieht.

Mit dem Wildcard zeichen * kann man schon viel realiseren aber nicht alles.

Also vermeiden solltest du auf jeden Fall.

Disallow: /
Disallow: /*.txt
Disallow: /r

Gruß
Jörg


Zufällige Umleitung zu der Startseite einer meiner Domains
Meine ungewöhnlichen Tools


gelöschter Benutzer
am 11.10.2011, 19:01 Uhr schrieb

Hallo shoxii, hi Joerg,

man könnte auch einfach das Meta-Tag Robots auf allen Seiten auf noindex setzten und nur die Startseite auf index.


Gruß Thomas


joerg
Avatar joerg
Fachinformatiker Anwendungsentwicklung
Content Gott (1941 Beiträge)
am 11.10.2011, 19:22 Uhr schrieb joerg

Hallo Thomas

Du das ist schon ein gewaltiger Unterschied.

Eine Sperre in der robots.txt bedeutet das die Datei gar nicht erst aufgerufen wird. Maximal der Head wenn die Seite über eine Umleitung aufgerufen werden sollte.

Ausserdem hatte ich mit noindex,nofollow am Anfang experimentiert. Folge die SVG Dateien waren im Index. Also dieses Metatag empfinde ich so was von überflüssig. Und ich werde nur noch die robots.txt für solche Fälle einsetzen.

Bei den wenigen Angaben von shoxii kann man auch nicht konkreter werden. Was ist wenn er/sie zum Beispiel PDF Dateien nur sperren möchte?

Gruß
Jörg


Zufällige Umleitung zu der Startseite einer meiner Domains
Meine ungewöhnlichen Tools

Raptor
Avatar Raptor
IT-Student
Content Gott (1013 Beiträge)
am 11.10.2011, 20:54 Uhr schrieb Raptor

shoxii schrieb:

User-agent: *
Disallow: /
Allow: /index.php


Du musst "/" (die echte Startseite) freigeben und nicht "/index.php".

Im Grunde würde ich folgendes versuchen:

User-agent: *
Disallow: /
Allow: /$

Das sollte alles blockieren, ausser der Hauptseite. Das $-Zeichen steht wie beim RegEx für\'s String-Ende.

Nach belieben kannst du auch noch ein "Allow: /index.php" anfügen, was aber eigentlich nicht nötig ist.


Meine Developer-Website mit den Web-Entwickler-Tools.
Meine Web-Entwicklungs-Dienstleistungen

[url="http://www.seitenreport.de/forum/beitraege/seitenreport_verlosungen/wichtig_neue_regel

shoxii
Beginner (18 Beiträge)
am 12.10.2011, 11:42 Uhr schrieb shoxii

Raptor schrieb:

Im Grunde würde ich folgendes versuchen:

User-agent: *
Disallow: /
Allow: /$



Das werde ich versuchen.
Soweit ich das nachvollziehen kann müsste dies wirklich funktionieren.
Eine Bestätigung von einem Dritten würde mein Gewissen jedoch durchaus erleichtern

Beste Grüße
shoxii


seitenreport
Avatar seitenreport
Inhaber
TYPO3 Senior Developer
Content Gott (1772 Beiträge)
am 12.10.2011, 12:29 Uhr schrieb seitenreport

shoxii schrieb:

Raptor schrieb:

Im Grunde würde ich folgendes versuchen:

User-agent: *
Disallow: /
Allow: /$


...
Eine Bestätigung von einem Dritten würde mein Gewissen jedoch durchaus erleichtern


Warum probierst Du es nicht einfach aus?

z.B. via Google Webmaster Tools => Abruf wie durch GoogleBot. Wenn er die Sperre der Unterseiten erkennt, sollte dort eine Fehlermeldung ausgespuckt werden. Die Startseite sollte normal gecrwalt werden können.

Beste Grüße,
Matthias


SEO Analyse und Website-Check mit Seitenreport

shoxii
Beginner (18 Beiträge)
am 12.10.2011, 16:02 Uhr schrieb shoxii

Funktioniert!
Besten Dank.
Gruß
shoxii


  • 1


« zurück zu: OnPage Optimierung

Das Seitenreport Forum hat aktuell 5274 Themen und 36108 Beiträge.
Insgesamt sind 48351 Mitglieder registriert.