Die URL-Struktur ist die Struktur der Webadresse, unter der eine Webseite zu finden ist, also beispielsweise www.beispielseite.de. Diese Struktur sollte für die Webcrawler einfach gehalten sein. Das ist nicht immer leicht, weil es Links zu Unterseiten gibt, die mit Buchstaben-, Ziffern- und Sonderzeichenkombinationen gekennzeichnet werden. Doch wenn es möglich ist, sollten Webmaster ihre URLs logisch aufbauen, sodass sie sich im besten Fall ein Nutzer merken kann. Das gelingt, indem sie sinnvolle, lesbare Wörter anstelle langer ID-Nummern verwenden.
Eine URL kann mit einer sprechenden Struktur aufgebaut werden, die für die SEO sehr nützlich sein kann. Wer beispielsweise ein Autohaus in Hamburg mit der Marke BMW betreibt, könnte zumindest die URL der Hauptseite www.autohaus-hamburg-bmw.de nennen. Die Crawler fassen die Worte als Keywords auf. Das Einfügen der Bindestriche empfiehlt Google in seinen Webmasterrichtlinien ausdrücklich, während von Unterstrichen (_) abgeraten wird.
Für die SEO lassen sich mit einer sprechenden URL außerordentliche Effekte erzielen. Diese waren bis zum Jahr 2016 noch etwas größer, danach änderte Google seine diesbezüglichen Algorithmen etwas. Doch auf jeden Fall schadet auch im Jahr 2021 die sprechende URL-Struktur der SEO keinesfalls.
Die genannte URL für unser Autohaus in Hamburg hat unabhängig von ihrem Nutzen für die Suchmaschinenoptimierung eine gute URL-Struktur, denn der Nutzer kann sich die drei Worte merken. Es ist aber möglich, dass der Webmaster aus technischen Gründen die URL mit www.autohaus.de/index.php benennt. Bis auf das Wort „Autohaus“ ist daran nichts für einen Suchenden nützlich.
Google weist in seinen Webmasterrichtlinien für URL-Strukturen darüber hinaus darauf hin, dass komplexe URL-Strukturen wie die hier zitierte durch ihre zahlreichen Parameter den Crawlern Schwierigkeiten bereiten können. Das liegt daran, dass solche Strukturen häufig für Unterseiten geschaffen werden, die aber manchmal ähnliche Inhalte enthalten bzw. auf diese verweisen. In solchen Fällen kann der Googlebot möglicherweise nicht oder nicht sehr schnell den kompletten Inhalt der Webseite indexieren.
Ursachen für solche komplexen, ungünstigen URL-Strukturen sind:
Google empfiehlt für die Schaffung unkomplizierter URL-Strukturen die Verwendung einer robots.txt-Datei. Diese blockiert den Zugriff des Crawlers auf problematische URLs. Blockiert werden sollen dynamische URLs, darunter diejenigen, die Suchergebnisse generieren, und auch diejenigen URLs, die zu unendlichen Bereichen führen. Das sind vor allem Verknüpfungen mit einem Kalender. Bei der Einbettung einer Webseite in einen unendlichen Kalender sollten die Links dorthin mit einem nofollow-Attribut versehen sein, sodass ihnen der Crawler nicht folgt.
Die betreffenden URLs dürfen natürlich verwendet werden, nur der Crawler soll sie nicht erfassen, was auch die robots.txt-Datei erledigt. URLs für Nutzer müssen grundsätzlich lesefreundlich und am besten sprechend sein. Das betrifft auf jeden Fall diejenigen für eine Startseite. Von Sitzungs-IDs in einer URL rät Google grundsätzlich ab. Webmaster sollen stattdessen besser Cookies verwenden. Fehlerhafte relative Links sollte es in einer Webseite nicht geben.