Ãœber robots.txt zur Sitemap

Hallo Jörg,

ich würde explizit nur Verzeichnisse auf disallow setzen, welche die Bots nicht durchstöbern sollen. Allow sind sie meist automatisch.

Dein Eintrag mit dem User-Agent ist so stimmig.

Mit der Sitemap, kann ich noch nicht ganz folgen. Die SuMa\'s verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern.

Der passende Eintrag für die robots.txt wäre:

Sitemap: www.havanesertreff.de/forum/index.php

Sitemap: www.havanesertreff.de/sitemap.xml

Sitemap: www.havanesertreff.de/sitemap.xml.gz

Hallo Heiko,

der_booker schrieb:
Mit der Sitemap, kann ich noch nicht ganz folgen. Die SuMa\'s verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern.

Das sollte durchaus so gehen. Die Zeiten der statischen Dateien sind auch für Sitemaps vorbei
Ich gebe auf meinen Seiten einen Http-Handler in der robots.txt an. Das ganze sieht dann etwa so aus:

sitemap: blog.klaus-b.net/sitemap.axd

klaus_b@.NET über alles was an .NET und C# Spass macht.

klaus_b schrieb:
...
Das sollte durchaus so gehen. Die Zeiten der statischen Dateien sind auch für Sitemaps vorbei
...

Wer sagt das eine "sitemap.xml" oder "sitemap.xml.gz" statisch ist?

the_booker schrieb:
Die SuMa\'s verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern.

Nein verlangen sie nicht, sie nehmen die Ressource die in der robots.txt angegeben wurde, solange es sich um eine gültige Sitemap handelt. Du kannst es testen, erstellen eine Sitemap namens foobar.blub und verlinke sie in der robots.txt, nach ein paar Tagen sollte sie bei den WMTs angezeigt werden. Yahoo scheint eine Sitemap erst zu erkennen wenn man sie über den Site Explorer einsendet und dort spielt der Name auch keine Rolle.


Schöne Grüße
Thomas

Danke für die Antworten
Also, es ist ja eine Forensoftware von Woltlab. Da habe ich nun die SEO Optimierung eingebaut (ein extra Plugin) und dort gab es als Tip halt diese Sitemap auf index.php Basis. Ich fand die Idee sehr gut, da dort nur Forenbereiche indexiert werden, die auch von Gästen gelesen werden können (nicht alle Bereiche sind für Gäste frei).
Bei meiner eingereichten Sitemap gibt es immer wieder Probs mit den Links, da auch immer wieder Fehlermeldungen auftraten, weil die Suchmaschine nen 403er Fehler meldete. Dem entsprechend ist diese Lösung besser

Muß ich denn jetzt nur

Sitemap: www.havanesertreff.de/forum/index.php

Sitemap: www.havanesertreff.de/forum/index.php

Ach so, der Vorteil dieses Plugin und der nicht statischen Sitemap liegt darin, das das Plugin die Sitemap bei jeder Änderung der Foren automatisch neu schreibt. So habe ich, wenn ich ein neues Unterforum aufmache welches für Gäste einsehbar ist, nicht immer die Arbeit die Sitemap neu schreiben zu müssen.

Ultima schrieb:

the_booker schrieb:
Die SuMa\'s verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern.

Nein verlangen sie nicht, sie nehmen die Ressource die in der robots.txt angegeben wurde, solange es sich um eine gültige Sitemap handelt. Du kannst es testen, erstellen eine Sitemap namens foobar.blub und verlinke sie in der robots.txt, nach ein paar Tagen sollte sie bei den WMTs angezeigt werden. Yahoo scheint eine Sitemap erst zu erkennen wenn man sie über den Site Explorer einsendet und dort spielt der Name auch keine Rolle.

Okay, vielleicht war ich da ein wenig "Old School". Wieder etwas dazugelernt. Danke. Dabei kommt mir eine neue Idee für ein neues Experiment.

der_booker schrieb:

Okay, vielleicht war ich da ein wenig "Old School". Wieder etwas dazugelernt. Danke. Dabei kommt mir eine neue Idee für ein neues Experiment.

Heiko, siehste, wie bei mir Ich war auch am überlegen was ich noch verbessern kann, obwohl wir schon sehr gut in Google und Co. vertreten sind. Nur bei Bing z.b. hatte ich das Gefühl, das grade wegen der Sitemap die Indexierung nicht sooo gut kommt durch die statische Sitemap.

havanesertreff schrieb:

Heiko, siehste, wie bei mir Ich war auch am überlegen was ich noch verbessern kann, obwohl wir schon sehr gut in Google und Co. vertreten sind. Nur bei Bing z.b. hatte ich das Gefühl, das grade wegen der Sitemap die Indexierung nicht sooo gut kommt durch die statische Sitemap.

Hehe, naja, die sitemap.xml wird bei mir auch nicht statisch befüllt, sondern ist schon dynamisch, was ja auch am meisten Sinn macht. Sobald ein neuer Eintrag hinzugekommen ist, sende ich auch einen Ping an die einzelnen SuMa\'s, um ihnen die Neuerung mitzuteilen. Nur ging ich bis dato davon aus, dass die sitmap.xml auch sitemap.xml heißen muss.

havanesertreff schrieb:
...
Nur bei Bing z.b. hatte ich das Gefühl, das grade wegen der Sitemap die Indexierung nicht sooo gut kommt durch die statische Sitemap.
...

Wenn du eine Sitemap bei Yahoo einsendest wird sie automatisch an Microsoft/Bing weitergeleitet, 2 Suchmaschinen mit einem Klick

Wenn meine Beobachtungen stimmen scheint Yahoo in der letzten Zeit stärker genutzt zu werden. Google hat natürlich noch den größten Anteil. Es kann aber auch sein das es nur wieder eine kleine Welle ist die wieder abflaut. Man sollte sie trotzdem im Auge behalten.


Schöne Grüße
Thomas

So, ich habe es jetzt so geändert:

User-agent: *
Allow: /

Sitemap: www.havanesertreff.de/forum/index.php