havanesertreff
Themenersteller
Call-Center
Guru (164 Beiträge)

Ãœber robots.txt zur Sitemap

am 01.05.2011, 17:26 Uhr eröffnete havanesertreff folgenden Thread
Sonstige    4846 mal gelesen    10 Antwort(en).

Hallo Zusammen,
ich wollte die robots.txt umschreiben und die Suchmaschine auf die sitemap leiten. Ich habe immo den Befehl
User-agent: *
Allow: /
in der robots stehen. Nun möchte ich auf die Seite www.havanesertreff.de/forum/index.php verweisen. Kann ich den ersten Befehl stehen lassen und/oder muß ich was ändern bzw. was muß ich reinschreiben?
Danke im vorraus
Gruß
Jörg


https://www.havanesertreff.de

der_booker
Foren Moderator
selbständig
(2762 Beiträge)
am 01.05.2011, 21:47 Uhr schrieb der_booker

Hallo Jörg,

ich würde explizit nur Verzeichnisse auf disallow setzen, welche die Bots nicht durchstöbern sollen. Allow sind sie meist automatisch.

Dein Eintrag mit dem User-Agent ist so stimmig.

Mit der Sitemap, kann ich noch nicht ganz folgen. Die SuMa\'s verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern.

Der passende Eintrag für die robots.txt wäre:
Sitemap: www.havanesertreff.de/forum/index.php

besser aber:
Sitemap: www.havanesertreff.de/sitemap.xml

oder komprimiert:
Sitemap: www.havanesertreff.de/sitemap.xml.gz


Heiko Jendreck
personal helpdesk
http://www.phw-jendreck.de
http://www.seo-labor.com

klaus_b
Avatar klaus_b
Er ernährt mich ;-)
Content Meister (328 Beiträge)
am 02.05.2011, 07:58 Uhr schrieb klaus_b

Hallo Heiko,

der_booker schrieb:
Mit der Sitemap, kann ich noch nicht ganz folgen. Die SuMa\'s verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern.


Das sollte durchaus so gehen. Die Zeiten der statischen Dateien sind auch für Sitemaps vorbei
Ich gebe auf meinen Seiten einen Http-Handler in der robots.txt an. Das ganze sieht dann etwa so aus:
sitemap: blog.klaus-b.net/sitemap.axd
Hat den Vorteil, dass erst gar nicht auf die Platte geschrieben werden muss.

Servus,
Klaus


klaus_b@.NET über alles was an .NET und C# Spass macht.


gelöschter Benutzer
am 02.05.2011, 09:03 Uhr schrieb

klaus_b schrieb:
...
Das sollte durchaus so gehen. Die Zeiten der statischen Dateien sind auch für Sitemaps vorbei
...



Wer sagt das eine "sitemap.xml" oder "sitemap.xml.gz" statisch ist?

the_booker schrieb:
Die SuMa\'s verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern.



Nein verlangen sie nicht, sie nehmen die Ressource die in der robots.txt angegeben wurde, solange es sich um eine gültige Sitemap handelt. Du kannst es testen, erstellen eine Sitemap namens foobar.blub und verlinke sie in der robots.txt, nach ein paar Tagen sollte sie bei den WMTs angezeigt werden. Yahoo scheint eine Sitemap erst zu erkennen wenn man sie über den Site Explorer einsendet und dort spielt der Name auch keine Rolle.


Schöne Grüße
Thomas


havanesertreff
Call-Center
Guru (164 Beiträge)
am 02.05.2011, 09:14 Uhr schrieb havanesertreff

Danke für die Antworten
Also, es ist ja eine Forensoftware von Woltlab. Da habe ich nun die SEO Optimierung eingebaut (ein extra Plugin) und dort gab es als Tip halt diese Sitemap auf index.php Basis. Ich fand die Idee sehr gut, da dort nur Forenbereiche indexiert werden, die auch von Gästen gelesen werden können (nicht alle Bereiche sind für Gäste frei).
Bei meiner eingereichten Sitemap gibt es immer wieder Probs mit den Links, da auch immer wieder Fehlermeldungen auftraten, weil die Suchmaschine nen 403er Fehler meldete. Dem entsprechend ist diese Lösung besser

Muß ich denn jetzt nur

Sitemap: www.havanesertreff.de/forum/index.php

dort eintragen oder

User-agent: *
Allow: /
Sitemap: www.havanesertreff.de/forum/index.php

Gruß
Jörg


https://www.havanesertreff.de

havanesertreff
Call-Center
Guru (164 Beiträge)
am 02.05.2011, 09:34 Uhr schrieb havanesertreff

Ach so, der Vorteil dieses Plugin und der nicht statischen Sitemap liegt darin, das das Plugin die Sitemap bei jeder Änderung der Foren automatisch neu schreibt. So habe ich, wenn ich ein neues Unterforum aufmache welches für Gäste einsehbar ist, nicht immer die Arbeit die Sitemap neu schreiben zu müssen.


https://www.havanesertreff.de

der_booker
Foren Moderator
selbständig
(2762 Beiträge)
am 02.05.2011, 09:39 Uhr schrieb der_booker

Ultima schrieb:

the_booker schrieb:
Die SuMa\'s verlangen einen sitemap.xml oder sitemap.xml.gz wenn die Datei komprimiert wurde. Du hingegen kommst mit einer index.php und einem zusätzlichen Wert. Ob das so gut gehen wird, wag ich im Moment zu bezweifeln, kann aber kein beweisbares Gegenargument liefern.



Nein verlangen sie nicht, sie nehmen die Ressource die in der robots.txt angegeben wurde, solange es sich um eine gültige Sitemap handelt. Du kannst es testen, erstellen eine Sitemap namens foobar.blub und verlinke sie in der robots.txt, nach ein paar Tagen sollte sie bei den WMTs angezeigt werden. Yahoo scheint eine Sitemap erst zu erkennen wenn man sie über den Site Explorer einsendet und dort spielt der Name auch keine Rolle.



Okay, vielleicht war ich da ein wenig "Old School". Wieder etwas dazugelernt. Danke. Dabei kommt mir eine neue Idee für ein neues Experiment.


Heiko Jendreck
personal helpdesk
http://www.phw-jendreck.de
http://www.seo-labor.com

havanesertreff
Call-Center
Guru (164 Beiträge)
am 02.05.2011, 09:44 Uhr schrieb havanesertreff

der_booker schrieb:

Okay, vielleicht war ich da ein wenig "Old School". Wieder etwas dazugelernt. Danke. Dabei kommt mir eine neue Idee für ein neues Experiment.



Heiko, siehste, wie bei mir Ich war auch am überlegen was ich noch verbessern kann, obwohl wir schon sehr gut in Google und Co. vertreten sind. Nur bei Bing z.b. hatte ich das Gefühl, das grade wegen der Sitemap die Indexierung nicht sooo gut kommt durch die statische Sitemap.


https://www.havanesertreff.de

der_booker
Foren Moderator
selbständig
(2762 Beiträge)
am 02.05.2011, 09:53 Uhr schrieb der_booker

havanesertreff schrieb:

Heiko, siehste, wie bei mir Ich war auch am überlegen was ich noch verbessern kann, obwohl wir schon sehr gut in Google und Co. vertreten sind. Nur bei Bing z.b. hatte ich das Gefühl, das grade wegen der Sitemap die Indexierung nicht sooo gut kommt durch die statische Sitemap.



Hehe, naja, die sitemap.xml wird bei mir auch nicht statisch befüllt, sondern ist schon dynamisch, was ja auch am meisten Sinn macht. Sobald ein neuer Eintrag hinzugekommen ist, sende ich auch einen Ping an die einzelnen SuMa\'s, um ihnen die Neuerung mitzuteilen. Nur ging ich bis dato davon aus, dass die sitmap.xml auch sitemap.xml heißen muss.


Heiko Jendreck
personal helpdesk
http://www.phw-jendreck.de
http://www.seo-labor.com


gelöschter Benutzer
am 02.05.2011, 09:55 Uhr schrieb

havanesertreff schrieb:
...
Nur bei Bing z.b. hatte ich das Gefühl, das grade wegen der Sitemap die Indexierung nicht sooo gut kommt durch die statische Sitemap.
...



Wenn du eine Sitemap bei Yahoo einsendest wird sie automatisch an Microsoft/Bing weitergeleitet, 2 Suchmaschinen mit einem Klick

Wenn meine Beobachtungen stimmen scheint Yahoo in der letzten Zeit stärker genutzt zu werden. Google hat natürlich noch den größten Anteil. Es kann aber auch sein das es nur wieder eine kleine Welle ist die wieder abflaut. Man sollte sie trotzdem im Auge behalten.


Schöne Grüße
Thomas


havanesertreff
Call-Center
Guru (164 Beiträge)
am 02.05.2011, 11:39 Uhr schrieb havanesertreff

So, ich habe es jetzt so geändert:

User-agent: *
Allow: /
Sitemap: www.havanesertreff.de/forum/index.php

Hoffe das es funzt


https://www.havanesertreff.de

  • 1


« zurück zu: Sonstige

Das Seitenreport Forum hat aktuell 5267 Themen und 36090 Beiträge.
Insgesamt sind 48174 Mitglieder registriert.